Le carré

18

Il semble que je me sois trompé en essayant de comprendre si une valeur carré a également une valeur . $r$ $p$

Si je comprends bien, en corrélation linéaire avec un ensemble de points de données $r$ peut avoir une valeur allant de $-1$ à $1$ et cette valeur, quelle qu'elle soit, peut avoir une valeur $p$ qui montre si $r$ est significativement différent de $0$ (c'est-à-dire , s'il existe une corrélation linéaire entre les deux variables).

Passant à la régression linéaire, une fonction peut être ajustée aux données décrites par l'équation $Y = a + bX$ . $a$ et $b$ (interception et pente) ont également des valeurs de $p$ pour montrer si elles sont significativement différentes de $0$ .

En supposant que j'ai jusqu'à présent tout compris correctement, la valeur de $p$ pour $r$ et la valeur de $p$ pour $b$ -elles la même chose? Est-il alors exact de dire que ce n'est pas le carré $r$ qui a une valeur $p$ mais plutôt $r$ ou $b$ qui en a?

statistical-significance p-value r-squared

— user1357
source

14

Outre les nombreux commentaires (corrects) d'autres utilisateurs soulignant que la valeur de $p$ pour $r^2$ est identique à la valeur de $p$ pour le test global $F$ , notez que vous pouvez également obtenir la valeur de $p$ associée à $r^2$ " directement "en utilisant le fait que $r^2$ sous l'hypothèse nulle est distribué comme $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ , où $v_n$ et $v_d$ sont les degrés de liberté du numérateur et du dénominateur, respectivement, pour lastatistique $F$ associée.

Le troisième point de la sous-section Dérivé d'autres distributions de l'entrée Wikipedia sur la distribution bêta nous dit que:

Si et sont indépendants, alors $X \sim \chi^2(\alpha)$ $Y \sim \chi^2(\beta)$ . $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Eh bien, nous pouvons écrire dans ce $r^2$ Forme $\frac{X}{X+Y}$

Soit la somme totale des carrés pour une variable , la somme des erreurs au carré pour une régression de sur certaines autres variables, et la «somme des carrés réduits», c'est-à-dire: . Alors $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$ Et bien sûr, étant des sommes de carrés,etsont tous les deux distribués commeavecetdegrés de liberté, respectivement. Par conséquent,

r^{2} = 1 - \frac{S S_{E}}{S S_{Y}} = \frac{S S_{Y} - S S_{E}}{S S_{Y}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

(Bien sûr, je n'ai pas montré que les deux chi-carrés sont indépendants. Peut-être qu'un commentateur peut dire quelque chose à ce sujet.)

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$

Démonstration en R (code emprunteur de @gung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

— Jake Westfall
source

6

J'espère que cette quatrième (!) Réponse clarifie encore les choses.

En régression linéaire simple, il existe trois tests équivalents:

test t pour pente de population nulle de covariable $X$
test t pour une corrélation de population nulle entre et la réponse $X$ $Y$
Test F pour une population nulle au carré R, c'est-à-dire que rien de la variabilité de ne peut être expliqué par un différent . $Y$ $X$

Les trois tests vérifient une association linéaire entre et et, heureusement (!), Ils conduisent tous au même résultat. Leurs statistiques de test sont équivalentes. (Les tests 1 et 2 sont basés sur la distribution de Student avec df qui correspond à la distribution F d'échantillonnage du test 3, juste avec une statistique de test au carré). $X$ $Y$ $n-2$

Un exemple rapide dans R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Comme vous pouvez le voir, les trois tests donnent la même valeur de p de 0,00218. Notez que le test 3 est celui de la dernière ligne de la sortie.

Votre test F pour le R au carré est donc très fréquent, bien que peu de statisticiens l'interprètent comme un test pour le R au carré.

— Michael M
source

5

Vous semblez avoir une compréhension décente pour moi. Nous pourrions obtenir une valeur de pour , mais comme il s'agit d'une fonction (non stochastique) de , les s seraient identiques. $p$ $r^2$ $r$ $p$

— gung - Réintégrer Monica
source

Je ne pense pas. Reliant l'inférence sur

et

à l'inférence sur

et

de OLS,

est significatif si

est différent de zéro, indépendamment de

. Cependant,

est significatif si

ou

sont non nuls. Cela permet de visualiser ce que les tests respectifs évaluent.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

— AdamO

1

@AdamO, je ne peux pas suivre l'argument dans votre commentaire. Semblable au poste de Michael Mayer ci - dessous, R essayer: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). Le p pour r est .265. Les p pour b et pour le test F global sont identiques, même si le p pour a l'est 6.96e-09.

— gung - Rétablir Monica

Exactement mon point.

est différent de

et leur valeur

n'est PAS identique.

peut être une fonction de

, mais ce n'est même pas une fonction monotone.

peut être significatif lorsque

ne l'est pas. Que mesure

? Il s'agit de l'erreur standard résiduelle après avoir tracé la ligne de tendance OLS et calculé les résidus. Dans votre exemple, la variance résiduelle sera-t-elle inférieure à la variance

inconditionnelle ? Absolument.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$ est significatif alors. Vous pouvez calculer les caractéristiques de fonctionnement avec bootstrap et la connexion entre l'ANOVA et les moindres carrés ordinaires met également en lumière la question.

— AdamO

4

Vous pouvez également obtenir la valeur de

associée à

"directement" en utilisant le fait que

sous l'hypothèse nulle est distribué comme

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

, où

et

sont les degrés de liberté du numérateur et du dénominateur, respectivement, pour lastatistique

associée. (Voir la 3e identité ici:en.wikipedia.org/wiki/….) Donc, en utilisant les données d'exemple de @ gung, sinous entrons,nous obtenons.

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

— Jake Westfall

4

@AdamO, je ne comprends toujours pas. Ils sont tous les deux .265, comment ne sont-ils pas identiques?

— gung - Réintégrer Monica

4

Il existe plusieurs façons de dériver la statistique de test pour les tests de la corrélation de Pearson, . Pour obtenir une valeur , il convient de souligner que vous avez besoin à la fois d'un test et d'une distribution d'échantillonnage d'une statistique de test sous l'hypothèse nulle. Votre titre et votre question semblent avoir une certaine confusion entre la corrélation de Pearson et la «variance expliquée» . Je considérerai d'abord le coefficient de corrélation. $\rho$ $p$ $r^2$

Il n'y a pas de "meilleure" façon de tester la corrélation de Pearson, à ma connaissance. La transformation Z de Fisher en est une, basée sur des transformations hyperboliques, de sorte que l'inférence est un peu plus efficace. C'est certainement une "bonne" approche, mais le plus triste est que l'inférence pour ce paramètre est cohérente avec l'inférence sur le paramètre de pente pour l'association: ils racontent la même histoire à long terme. $\beta$

La raison pour laquelle les statisticiens ont (classique) des tests entièrement préférés de est parce que nous n'avons un « meilleur » test: régression linéaire, qui est l'estimateur BLEU. À l'époque des statistiques modernes, nous ne nous soucions plus vraiment si un test est "meilleur", mais la régression linéaire a beaucoup d'autres propriétés fantastiques qui justifient son utilisation continue pour déterminer l'association entre deux variables. En général, votre intuition est bonne: c'est essentiellement la même chose, et nous concentrons notre attention sur comme une mesure d'association plus pratique. $\beta$ $\beta$

Le est fonction à la fois de la pente et de l'ordonnée à l'origine. Si l'une ou l'autre de ces valeurs n'est pas nulle, le devrait avoir une distribution d'échantillonnage discernable par rapport à celle qui serait attendue si les paramètres linéaires étaient nuls. Cependant, dériver des distributions de sous la valeur nulle et comparer à $r^2$ $r^2$ $r^2$ $r^2$ sous une autre hypothèse alternative ne me donne pas beaucoup de confiance que ce test a beaucoup de pouvoir pour détecter ce que nous voulons. Juste un instinct. En se tournant à nouveau vers les «meilleurs» estimateurs, l'OLS nous donne les «meilleures» estimations de la pente et de l'ordonnée à l'origine, nous avons donc la certitude que notre test est au moins bon pour déterminer la même (le cas échéant) association en testant directement les paramètres du modèle . Pour moi, tester conjointement les et avec OLS est supérieur à tout test sur sauf dans un cas rare (peut-être) d'une application d'étalonnage de modélisation prédictive non imbriquée ... mais BIC serait probablement une meilleure mesure dans ce scénario en tous cas. $\alpha$ $\beta$ $r^2$

— AdamO
source

1

"Le

est fonction à la fois de la pente et de l'ordonnée à l'origine." Peut-être qu'il me manque quelque chose, mais ... n'est-ce pas uniquement fonction de la pente? Peut-être pourriez-vous faire une démonstration concrète?

r^{2}

$r^2$

— Jake Westfall

Sûr. Rappelons que si les données observées correspondent parfaitement à la ligne de tendance, alors

exactement. Considérez les données de «réponse plate» sans variabilité mais avec une intersection non nulle, donc tous les tuples prennent la forme

pour tous les

.

comme mentionné. Le coefficient de détermination sert de résumé raisonnable de la capacité de prédiction d'une équation linéaire, et l'obtention de ces prédictions nécessite à la fois une pente et une interception.

r^{2} = 1

$r^2 = 1$

(x_{i}, β_{0})

$(x_i, \beta_0)$

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$

r^{2} = 1

$r^2 = 1$

— AdamO

1

Ce n'est pas tout à fait comme ça que j'interpréterais les choses. Je ne pense pas que j'aurais jamais calculé une valeur de pour ou . et sont des mesures qualitatives d'un modèle, pas des mesures que nous comparons à une distribution, donc une valeur n'a pas vraiment de sens. $p$ $r$ $r^2$ $r$ $r^2$ $p$

Obtenir une valeur de pour est très logique - c'est ce qui vous indique si le modèle a une relation linéaire ou non. Si est statistiquement significativement différent de vous concluez qu'il existe une relation linéaire entre les variables. Le ou vous indique ensuite dans quelle mesure le modèle explique la variation des données. Si est faible, alors votre variable indépendante n'aide pas beaucoup à expliquer la variable dépendante. $p$ $b$ $b$ $0$ $r$ $r^2$ $r^2$

Une valeur pour nous indique si l'ordonnée à l'origine est statistiquement significativement différente de ou non. Cela a une utilité variable, selon les données. Mon exemple préféré: si vous effectuez une régression linéaire entre le temps de gestation et le poids à la naissance, vous pourriez trouver une interception de, disons, 8 onces qui est statistiquement différente de . Cependant, puisque l'interception représente un âge de gestation de semaine, cela ne signifie vraiment rien. $p$ $a$ $0$ $0$ $0$

Si quelqu'un calcule régulièrement des valeurs de pour un je serais intéressé d'en entendre parler. $p$ $r^2$

— Duncan
source

4

F

$F$

R^{2}

$R^2$

F

$F$

R^{2}

$R^2$

n

$n$

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$

b

$b$

R^{2}

$R^2$

En pratique, il semble que les gens ne pensent pas en termes de signification de r ou r ^ 2. Ce qui pourrait être plus utile, c'est un intervalle de confiance autour d'eux.

— N Brouwer