Régression linéaire multivariée vs plusieurs modèles de régression univariée

Dans les paramètres de régression univariée, nous essayons de modéliser

où un vecteur de observations et la matrice de conception avec prédicteurs. La solution est .$y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

Dans les paramètres de régression multivariée, nous essayons de modéliser

où est une matrice de observations et différentes variables latentes. La solution est .$y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

Ma question est de savoir comment est-ce différent de l'exécution d' une régression linéaire univariée différente? J'ai lu ici que dans ce dernier cas, nous prenons en considération la corrélation entre les variables dépendantes, mais je ne le vois pas dans les mathématiques.$p$

Dans le cadre de la régression linéaire multivariée classique, nous avons le modèle:

où représente les variables indépendantes, représente les variables à réponses multiples et est un terme de bruit gaussien iid. Le bruit a une moyenne nulle et peut être corrélé entre les variables de réponse. La solution du maximum de vraisemblance pour les poids est équivalente à la solution des moindres carrés (indépendamment des corrélations de bruit) [1] [2]:$X$$Y$$\epsilon$

Cela revient à résoudre indépendamment un problème de régression distinct pour chaque variable de réponse. Cela peut être vu du fait que la ème colonne de (contenant les poids pour la ème variable de sortie) peut être obtenue en multipliant par le e colonne de (contenant les valeurs de la e variable de réponse).$i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Cependant, la régression linéaire multivariée diffère de la résolution séparée des problèmes de régression individuels car les procédures d'inférence statistique tiennent compte des corrélations entre les variables de réponse multiples (par exemple, voir [2], [3], [4]). Par exemple, la matrice de covariance du bruit apparaît dans les distributions d'échantillonnage, les statistiques de test et les estimations d'intervalle.

Une autre différence émerge si nous permettons à chaque variable de réponse d'avoir son propre ensemble de covariables:

où représente la ème variable de réponse, et et représentent son ensemble correspondant de covariables et de terme de bruit. Comme ci-dessus, les termes de bruit peuvent être corrélés entre les variables de réponse. Dans ce contexte, il existe des estimateurs qui sont plus efficaces que les moindres carrés et ne peuvent être réduits à résoudre des problèmes de régression distincts pour chaque variable de réponse. Par exemple, voir [1].$Y_i$$i$$X_i$$\epsilon_i$

Les références

1. Zellner (1962) . Une méthode efficace d'estimation des régressions apparemment sans rapport et des tests de biais d'agrégation.
2. Helwig (2017) . Régression linéaire multivariée [Diapositives]
3. Fox et Weisberg (2011) . Modèles linéaires multivariés dans R. [Annexe à: Un compagnon R pour la régression appliquée]
4. Maitra (2013) . Modèles de régression linéaire multivariée. [Diapositives]