Conversion d'un modèle linéaire multivarié en régression multiple

La refonte d'un modèle de régression linéaire multivariée en régression linéaire multiple est-elle entièrement équivalente? Je ne parle pas simplement en cours d' exécution régressions distinctes.$t$

J'ai lu ceci à quelques endroits (Bayesian Data Analysis - Gelman et al., Et Multivariate Old School - Marden) qu'un modèle linéaire multivarié peut facilement être reparamétré comme une régression multiple. Cependant, aucune source n'élabore sur ce point. Ils le mentionnent essentiellement, puis continuent d'utiliser le modèle multivarié. Mathématiquement, je vais d'abord écrire la version multivariée,

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$ où les variables en gras sont des matrices avec leurs tailles en dessous. Comme d'habitude, est des données, est la matrice de conception, sont des résidus normalement distribués et est ce avec quoi nous voulons faire des inférences.X R $\mathbf{Y}$$\mathbf{X}$$\mathbf{R}$$\mathbf{B}$

Pour reparamétrer cela comme la régression linéaire multiple familière, on réécrit simplement les variables comme:

$$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$$

où les reparamètres utilisés sont $\mathbf{y} = row(\mathbf{Y})$ , $\boldsymbol\beta = row(\mathbf{B})$ et $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ . $row()$ signifie que les lignes de la matrice sont disposées bout à bout en un long vecteur, et $\otimes$ est le kronecker, ou produit externe.

Donc, si c'est si facile, pourquoi s'embêter à écrire des livres sur des modèles multivariés, tester des statistiques pour eux, etc.? Il est plus efficace de simplement transformer les variables en premier et d'utiliser des techniques univariées communes. Je suis sûr qu'il y a une bonne raison, j'ai juste du mal à en penser une, au moins dans le cas d'un modèle linéaire. Existe-t-il des situations avec le modèle linéaire multivarié et des erreurs aléatoires normalement distribuées où cette reparamétrie ne s'applique pas, ou limite les possibilités de l'analyse que vous pouvez entreprendre?

Sources J'ai vu ceci: Marden - Statistiques multivariées: Old School. Voir sections 5.3 - 5.5. Le livre est disponible gratuitement sur: http://istics.net/stat/

Gelman et al. - Analyse des données bayésiennes. J'ai la deuxième édition, et dans cette version il y a un petit paragraphe dans Ch. 19 «Modèles de régression multivariée» intitulés: «Le modèle de régression univarié équivalent»

Fondamentalement, pouvez-vous tout faire avec le modèle de régression linéaire univariée équivalent à celui que vous pourriez utiliser avec le modèle multivarié? Si oui, pourquoi développer des méthodes pour des modèles linéaires multivariés?

Qu'en est-il des approches bayésiennes?

Fondamentalement, pouvez-vous tout faire avec le modèle de régression linéaire univariée équivalent à celui que vous pourriez utiliser avec le modèle multivarié?

Je crois que la réponse est non.

Si votre objectif est simplement d'estimer les effets (paramètres dans ) ou de faire des prédictions basées sur le modèle, alors oui, il n'est pas important d'adopter la formulation du modèle entre les deux.$\mathbf{B}$

Cependant, pour faire des inférences statistiques, en particulier pour effectuer le test de signification classique, la formulation multivariée semble pratiquement irremplaçable. Plus précisément, permettez-moi d'utiliser l'exemple typique de l'analyse de données en psychologie. Les données de sujets sont exprimées comme$n$

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$

où les variables explicatives entre sujets (facteur ou / et covariables quantitatives) sont codées comme les colonnes dans tandis que les niveaux de facteur de mesures répétées (ou intra-sujet) sont représentés comme des variables simultanées ou colonnes dans .$k-1$$\mathbf{X}$$t$$\mathbf{Y}$

Avec la formulation ci-dessus, toute hypothèse linéaire générale peut être facilement exprimée comme

$$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$$

où est composé des poids parmi les variables explicatives entre sujets tandis que contient les poids parmi les niveaux des facteurs de mesures répétées, et est une matrice constante, généralement .$\mathbf{L}$$\mathbf{L}$$\mathbf{C}$$\mathbf{0}$

La beauté du système multivarié réside dans sa séparation entre les deux types de variables, entre et à l'intérieur du sujet. C'est cette séparation qui permet de formuler facilement trois types de tests de signification dans le cadre multivarié: les tests multivariés classiques, les tests multivariés à mesures répétées et les tests univariés à mesures répétées. De plus, les tests de Mauchly pour la violation de la sphéricité et les méthodes de correction correspondantes (Greenhouse-Geisser et Huynh-Feldt) deviennent également naturels pour les tests univariés dans le système multivarié. C'est exactement ainsi que les progiciels statistiques ont implémenté ces tests tels que car dans R, GLM dans IBM SPSS Statistics et l'instruction REPEATED dans PROC GLM de SAS.

Je ne suis pas sûr que la formulation soit importante dans l'analyse des données bayésiennes, mais je doute que la capacité de test ci-dessus puisse être formulée et mise en œuvre sous la plate-forme univariée.

Les deux modèles sont équivalents si vous ajustez la structure de variance-covariance appropriée. Dans le modèle linéaire transformé, nous devons adapter la matrice de variance-covariance du composant d'erreur avec le produit kronecker qui a une disponibilité limitée dans les logiciels informatiques disponibles. Théorie des modèles linéaires - Modèles univariés, multivariés et mixtes est une excellente référence pour ce sujet.

Édité

Voici une autre belle référence disponible gratuitement.