Peut-on utiliser des coefficients

J'essaie d'interpréter les résultats d'un article, où ils ont appliqué une régression multiple pour prédire divers résultats. Cependant les (coefficients B normalisés définis comme où est la personne à charge variable et est un prédicteur) rapporté ne semble pas correspondre au rapporté : $\beta$ $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

Malgré les de -0,83, -0,29, -0,16, -0,43, 0,25 et -0,29, le rapporté n'est que de 0,20. $\beta$ $R^2$

De plus, les trois prédicteurs: poids, IMC et% de graisse sont multi-colinéaires, corrélés autour de r = 0,8-0,9 les uns avec les autres au sein des sexes.

La valeur est-elle plausible avec ces , ou n'y a-t-il pas de relation directe entre les et le ? $R^2$ $\beta$ $\beta$ $R^2$

De plus, des problèmes avec les prédicteurs multicollinéaires pourraient-ils affecter la d'un quatrième prédicteur (VO2max), qui est corrélée autour de r = 0,4 avec les trois variables susmentionnées? $\beta$

— Sakari Jukarainen
source

Qu'est-ce que dans ce contexte? Un coefficient bêta (régression standardisée)? Ou autre chose? Si oui, alors vous ne pouvez pas vraiment dire quoi que ce soit, tout ce que vous obtenez est une interprétation en termes d'écarts-types. Le fait que le coefficient implique des effets importants n'implique pas une valeur élevée

β

$\beta$

R^{2}

$R^2$

— Repmat

ß représente les coefficients b normalisés. Pour un cas à prédicteur 1, ß est égal au r de Pearson, qui est directement lié au R au carré, mais dans ce cas multivarié, pourquoi des ß élevés n'impliquent-ils pas un R au carré élevé?

— Sakari Jukarainen

Non, dans un cas de régresseur,

n'est pas égal à la corrélation de Pearson:

β

$\beta$

. La relation entre

s et

n'est pas aussi simple.

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— Richard Hardy

@ RichardHardy Je soupçonne que la confusion est que Sakari a défini

comme étant le coefficient de régression standardisé . Dans une régression linéaire bivariée, le coefficient de régression (

dans la notation de Sakari) est

β

$\beta$

b

$b$

, où

est la corrélation et

l'écart-type. Pour standardiser un coefficient de régression, nous divisons le coefficient avec l'écart-type de

et multiplions par cet écart-type de

, donc seule la corrélation est laissée. Alors Sakari a raison.

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Maarten Buis

Je ne vois toujours pas pourquoi vous considérez que c'est faux? S'il y a des statistiques résumées dans le document, vous pouvez simplement vérifier si les chiffres s'additionnent. Vous avez même fourni la formule pour le faire. Vous ne pouvez pas conclure, simplement parce que les effets sont importants en termes abosultes, que les modèles expliquent bien la variance en y.

— Repmat

L' interprétation géométrique de la régression des moindres carrés ordinaires fournit la perspicacité requise.

La plupart de ce que nous devons savoir peut être vu dans le cas de deux régresseurs et avec la réponse . Les coefficients normalisés, ou «bêtas», surviennent lorsque les trois vecteurs sont normalisés à une longueur commune (que nous pouvons considérer comme étant l'unité). Ainsi, et sont des vecteurs unitaires dans un plan ils sont situés sur le cercle unitaire - et est un vecteur unitaire dans un espace euclidien tridimensionnel contenant ce plan. La valeur ajustée est la projection orthogonale (perpendiculaire) de $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ sur . Parce que est simplement la longueurcarré de , nous ne devons pas visualiser même les trois dimensions: toutes les informations nécessaires peuvent être tirées dans ce plan. $y$ $E^2$ $R^2$ $\hat y$

Régresseurs orthogonaux

La situation la plus agréable est lorsque les régresseurs sont orthogonaux, comme dans la première figure.

$Figure 1, montrant les régresseurs et $ \ hat y $ comme vecteurs dans un plan.$

Dans ceci et le reste des figures, je dessine systématiquement le disque de l'unité en blanc et les régresseurs sous forme de flèches noires. pointera toujours directement vers la droite. Les flèches rouges épais représentent les composantes de dans les et directions: qui est, et . La longueur de est le rayon du cercle gris sur laquelle il se trouve - mais se rappeler que est le $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ carré de cette longueur.

Le théorème de Pythagore affirme

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

Parce que le théorème de Pythagore tient dans n'importe quel nombre de dimensions, ce raisonnement se généralise à n'importe quel nombre de régresseurs, donnant notre premier résultat:

Lorsque les régresseurs sont orthogonaux, est égal à la somme des carrés des bêtas. $R^2$

Un corollaire immédiat est que lorsqu'il n'y a qu'un seul régresseur - régression univariée - est le carré de la pente normalisée. $R^2$

Corrélé

Les régresseurs à corrélation négative se rencontrent à des angles supérieurs à un angle droit.

Il apparaît visuellement sur cette image que la somme des carrés des bêtas est strictement supérieure à . Cela peut être prouvé algébriquement en utilisant la loi des cosinus ou en travaillant avec une solution matricielle des équations normales. $R^2$

En rendant les deux régresseurs presque parallèle, on peut positionner près de l'origine (pour près ) alors qu'elle continue d'avoir de grands composants de la et direction. Ainsi, il n'y a pas de limite à la taille du . $\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

Mémorisons ce résultat évident, notre deuxième généralité:

Lorsque régresseurs sont corrélées, peut être arbitrairement petite que la somme des carrés des bêtas. $R^2$

Cependant, ce n'est pas une relation universelle, comme le montre la figure suivante.

Maintenant, dépasse strictement la somme des carrés des bêtas. En tirant les deux régresseurs rapprochés et en gardant entre eux, nous pouvons faire à la fois approche les bêtas , même lorsque est proche de . Une analyse plus approfondie peut nécessiter une algèbre: je prends cela en compte ci-dessous. $R^2$ $\hat y$ $1/2$ $R^2$ $1$

Je laisse à votre imagination le soin de construire des exemples similaires avec des régresseurs positivement corrélés, qui se rencontrent ainsi sous des angles aigus.

Notez que ces conclusions sont incomplètes: il y a des limites à combien moins de peut être comparé à la somme des carrés des bêtas. En particulier, en examinant attentivement les possibilités, vous pouvez conclure (pour une régression avec deux régresseurs) que $R^2$

Lorsque les régresseurs sont positivement corrélés et les bêtas ont un signe commun, ou lorsque les régresseurs sont négativement corrélés et les bêtas ont des signes différents, doit être au moins aussi grande que la somme des carrés des bêtas. $R^2$

Résultats algébriques

Généralement, que les régresseurs soient (vecteurs colonnes) et la réponse soit . Les moyens de normalisation (a) sont chacun orthogonaux au vecteur et (b) ils ont des longueurs unitaires: $x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

Assembler les vecteurs colonnes dans un matrice . Les règles de multiplication matricielle impliquent que $x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

est la matrice de corrélation des . Les bêtas sont donnés par les équations normales, $x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

De plus, par définition, l'ajustement est

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

Sa longueur au carré donne par définition: $R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

$R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

$L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

L'inégalité de Cauchy-Schwarz implique

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

$1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

$x_i$

$R^2$ $R^2/p$

Conclusions

$R^2$ $\hat y$ $R^2$

$1.1301$ $R^2$ $1$

$-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

$R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ par des quantités inconnues (en fonction de la façon dont ces trois éléments sont liés aux covariables), ne nous laissant presque rien savoir de la taille réelle des vecteurs avec lesquels nous travaillons.

— whuber
source

\hat{y}

$\hat y$

\hat{y}

$\hat y$

@amoeba Vous avez tout à fait raison. J'ai été trop précipité pour créer ces images! Je vais (espérons-le temporairement) supprimer ce message jusqu'à ce que j'aie l'occasion de corriger le problème. Merci de l'avoir signalé.

— whuber

@Amoeba J'ai corrigé les images et modifié l'analyse pour qu'elles correspondent. Bien que les détails aient considérablement changé, les conclusions restent les mêmes.

— whuber

@amoeba Encore une fois, vous avez raison. Au risque de perdre les lecteurs intéressés, mais maintenant que je me sens obligé de quantifier l'intuition géométrique, j'ai resserré cette conclusion et l'ai justifiée avec un peu d'algèbre. (J'espère que l'algèbre est correcte!)

— whuber

Merci beaucoup! En tant que sidenote, VO2max est négativement corrélé avec le poids et l'IMC, car ils sont associés à une masse corporelle maigre plus élevée. Dans ce tableau, VO2max correspond en fait à VO2max divisé par le poids (ce qui est une mauvaise façon de mettre VO2max à la taille du corps). La VO2max / poids dans le tableau est corrélée négativement avec tous les autres prédicteurs, à l'exception du sexe, ce qui pourrait expliquer le ß élevé mais le R-carré faible, comme vous l'avez mentionné.

— Sakari Jukarainen