Quelle est la distribution de en régression linéaire sous l'hypothèse nulle? Pourquoi son mode n'est-il pas nul lorsque ?

Quelle est la distribution du coefficient de détermination, ou R au carré, , en régression multiple univariée linéaire sous l'hypothèse nulle ?$R^2$$H_0:\beta=0$

Comment cela dépend-il du nombre de prédicteurs et du nombre d'échantillons ? Existe-t-il une expression de forme fermée pour le mode de cette distribution?$k$$n>k$

En particulier, j'ai le sentiment que pour la régression simple (avec un prédicteur ) cette distribution a un mode à zéro, mais pour une régression multiple, le mode est à une valeur positive non nulle. Si cela est vrai, existe-t-il une explication intuitive de cette "transition de phase"?$x$

---

Mise à jour

Comme l'a montré @Alecos ci-dessous, la distribution culmine en effet à zéro lorsque et k = 3 et non à zéro lorsque k> 3 . Je pense qu'il devrait y avoir une vision géométrique de cette transition de phase. Considérons la vue géométrique d'OLS: \ mathbf y est un vecteur dans \ mathbb R ^ n , \ mathbf X y définit un sous-espace k- dimensionnel. OLS revient à projeter \ mathbf y sur ce sous-espace, et R ^ 2 est le cosinus carré de l'angle entre \ mathbf y et sa projection \ hat {\ mathbf y} .$k=2$$k=3$$k>3$$\mathbf y$$\mathbb R^n$$\mathbf X$$k$$\mathbf y$$R^2$y $\mathbf y$$\hat{\mathbf y}$

Maintenant, d'après la réponse de @ Alecos, il s'ensuit que si tous les vecteurs sont aléatoires, alors la distribution de probabilité de cet angle atteindra un pic à $90^\circ$ pour $k=2$ et $k=3$ , mais aura un mode à une autre valeur $<90^\circ$ pour $k>3$ . Pourquoi?!

---

Mise à jour 2: J'accepte la réponse de @ Alecos, mais j'ai toujours le sentiment que je manque ici des informations importantes. Si quelqu'un suggère un autre point de vue (géométrique ou non) sur ce phénomène qui le rendrait "évident", je serai heureux d'offrir une prime.

Pour l'hypothèse spécifique (que tous les coefficients du régresseur sont nuls, sans compter le terme constant, qui n'est pas examiné dans ce test) et sous normalité, nous le savons (voir par exemple Maddala 2001, p. 155, mais notez que là, compte la régresseurs sans le terme constant, de sorte que l'expression semble un peu différente) que la statistique$k$

F = n - kk - 1 R21 - R 2 F(k-1,n-k

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ est distribué comme une variable aléatoire centrale .$F(k-1, n-k)$

Notez que bien que nous ne testions pas le terme constant, compte également.$k$

Faire bouger les choses,

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

Mais le côté droit est distribué en tant que distribution bêta , en particulier

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

Le mode de cette distribution est

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

MODE FINI ET UNIQUE
De la relation ci-dessus, nous pouvons déduire que pour que la distribution ait un mode unique et fini, nous devons avoir

$$k\geq 3, n >5$$

Cela est conforme à l'exigence générale d'une distribution bêta, qui est

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

comme on peut déduire de ce fil de CV ou lire ici .
Notez que si , nous obtenons la distribution uniforme, donc tous les points de densité sont des modes (finis mais pas uniques). Ce qui crée la question: pourquoi, si , est distribué comme ?{ α = 1 , β = 1 } k = 3 , n = 5 R$\{\alpha =1 , \beta = 1\}$$k=3, n=5$ 2 U ( 0 , 1 $R^2$$U(0,1)$

IMPLICATIONS
Supposons que vous ayez régresseurs (y compris la constante) et observations. Assez belle régression, pas de sur-ajustement. ensuitek = 5 n = $k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

et graphique de densité

Intuition please: c'est la distribution de sous l'hypothèse qu'aucun régresseur n'appartient réellement à la régression. Ainsi, a) la distribution est indépendante des régresseurs, b) à mesure que la taille de l'échantillon augmente, sa distribution est concentrée vers zéro, car l'augmentation de l'information submerge la variabilité des petits échantillons qui peut produire un certain "ajustement", mais aussi c) comme le nombre de régresseurs non pertinents augmente pour une taille d'échantillon donnée, la distribution se concentre vers , et nous avons le phénomène de "faux ajustement". R 2$R^2$$1$

Mais aussi, notez à quel point il est "facile" de rejeter l'hypothèse nulle: dans l'exemple particulier, pour probabilité cumulée a déjà atteint , donc un obtenu rejettera le nul de "régression insignifiante" "au niveau de signification %.R 2 = 0,13 $R^2=0.13$$0.99$ R 2 > 0,13 $R^2>0.13$$1$

ADDENDA
Pour répondre au nouveau problème concernant le mode de distribution de , je peux proposer la ligne de pensée suivante (non géométrique), qui la relie au phénomène de "fit parasite": lorsque nous exécutons des moindres carrés sur une donnée ensemble, nous résolvons essentiellement un système de équations linéaires avec inconnues (la seule différence avec les mathématiques du secondaire est qu'à l'époque nous appelions "coefficients connus" ce que dans la régression linéaire nous appelons "variables / régresseurs", "inconnu x" ce nous appelons maintenant «coefficients inconnus» et «termes constants» ce que nous appelons «variable dépendante»). Tant queR 2 n k k < n 1 - R 2 k = n k R 2 1 k $R^2$$n$$k$$k<n$le système est sur-identifié et il n'y a pas de solution exacte, seulement approximative, et la différence apparaît comme une "variance inexpliquée de la variable dépendante", qui est capturée par . Si le système a une solution exacte (en supposant une indépendance linéaire). Entre les deux, à mesure que nous augmentons le nombre de , nous réduisons le "degré de suridentification" du système et nous "nous dirigeons" vers la solution exacte unique. Sous cette vue, il est logique pourquoi augmente faussement avec l'ajout de régressions non pertinentes, et par conséquent, pourquoi son mode se déplace progressivement vers , car augmente pour donné .$1-R^2$$k=n$$k$$R^2$$1$$k$$n$

Je ne redériverai pas la distribution dans l'excellente réponse de @ Alecos (c'est un résultat standard, voir ici pour un autre belle discussion) mais je veux donner plus de détails sur les conséquences! Tout d'abord, à quoi ressemble la distribution nulle de pour une plage de valeurs de et ? Le graphique dans la réponse de @ Alecos est assez représentatif de ce qui se produit dans les régressions multiples pratiques, mais parfois, les informations sont plus facilement glanées à partir de cas plus petits. J'ai inclus la moyenne, le mode (là où il existe) et l'écart type. Le graphique / tableau mérite un bon globe oculaire: mieux vu en taille réelleB e t a ( k - 12 ,n - k2 )R2nk$\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$$R^2$$n$$k$. J'aurais pu inclure moins de facettes mais le schéma aurait été moins clair; J'ai ajouté du Rcode pour que les lecteurs puissent expérimenter différents sous-ensembles de et .$n$$k$

Valeurs des paramètres de forme

Le schéma de couleurs du graphique indique si chaque paramètre de forme est inférieur à un (rouge), égal à un (bleu) ou supérieur à un (vert). Le côté gauche montre la valeur de tandis que est à droite. Depuis , sa valeur augmente dans la progression arithmétique d'une différence commune de lorsque nous nous déplaçons à droite de colonne en colonne (ajoutez un régresseur à notre modèle) tandis que pour fixe , diminue de . Le total est fixe pour chaque ligne (pour une taille d'échantillon donnée). Si au lieu de cela, nous fixonsα $\alpha$$\beta$ α = k - 12$\alpha = \frac{k-1}{2}$2 nβ=n-$\frac{1}{2}$$n$2$\beta = \frac{n-k}{2}$2 α+β=n-$\frac{1}{2}$2 kαβ$\alpha + \beta = \frac{n-1}{2}$$k$et descendez dans la colonne (augmentez la taille de l'échantillon de 1), puis reste constant et augmente de . En termes de régression, est la moitié du nombre de régresseurs inclus dans le modèle et est la moitié des degrés de liberté résiduels . Pour déterminer la forme de la distribution, nous sommes particulièrement intéressés par où ou égal à un.$\alpha$$\beta$2 αβα$\frac{1}{2}$$\alpha$$\beta$$\alpha$$\beta$

L'algèbre est simple pour : on a donc . Il s'agit en effet de la seule colonne du graphique à facettes qui est remplie de bleu à gauche. De même pour (la colonne est rouge à gauche) et pour (à partir de la colonne , le côté gauche est vert).α k - $\alpha$2 =1k=3α<1k<3k=2α>1k>3k=$\frac{k-1}{2}=1$$k=3$$\alpha < 1$$k<3$$k=2$$\alpha > 1$$k>3$$k=4$

Pour nous avons où . Notez comment ces cas (marqués d'un côté bleu à droite) coupent une ligne diagonale à travers le tracé des facettes. Pour nous obtenons (les graphiques avec un côté gauche vert se trouvent à gauche de la ligne diagonale). Pour nous avons besoin de , ce qui n'implique que les cas les plus à droite sur mon graphique: à nous avons et la distribution est dégénérée, mais où est tracé (côté droit en rouge).β = 1 n - $\beta=1$2 =1k=n-2β>1k<n-2β<1k>n-2n=kβ=0n=k-1β=$\frac{n-k}{2}=1$$k=n-2$$\beta > 1$$k < n - 2$$\beta < 1$$k > n - 2$$n=k$$\beta=0$$n=k-1$$\beta = \frac{1}{2}$

Puisque le PDF est , il est clair que si (et seulement si ) puis comme . Nous pouvons le voir dans le graphique: lorsque le côté gauche est ombré en rouge, observez le comportement à 0. De même lorsque puis comme . Regardez où le côté droit est rouge!f ( x ;α ,β ) ∝ x α - 1 ( 1 - x ) β - 1 α < 1 f ( x ) → ∞ x → 0 β < 1 f ( x ) → ∞ x → $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$$\alpha<1$$f(x) \to \infty$$x \to 0$$\beta<1$$f(x) \to \infty$$x \to 1$

Symétries

L'une des caractéristiques les plus accrocheuses du graphique est le niveau de symétrie, mais lorsque la distribution bêta est impliquée, cela ne devrait pas être surprenant!

La distribution bêta elle-même est symétrique si . Pour nous, cela se produit si qui identifie correctement les panneaux , , et . La mesure dans laquelle la distribution est symétrique sur dépend du nombre de variables régressives que nous incluons dans le modèle pour cette taille d'échantillon. Si la distribution de est parfaitement symétrique autour de 0,5; si nous incluons moins de variables que cela, cela devient de plus en plus asymétrique et la majeure partie de la masse de probabilité se rapproche deα = β n = 2 k - 1 ( k = 2 , n = 3 ) ( k = 3 , n = 5 ) ( k = 4 , n = 7 ) ( k = 5 , n = 9 ) R 2 = 0,5 k = n + $\alpha = \beta$$n = 2k-1$$(k=2, n=3)$$(k=3, n=5)$$(k=4, n=7)$$(k=5, n=9)$$R^2 = 0.5$2 R2R2=0R2=1$k = \frac{n+1}{2}$$R^2$$R^2 = 0$; si nous incluons plus de variables, cela se rapproche de . Souvenez-vous que inclut l'ordonnée à l'origine dans son décompte et que nous travaillons sous la valeur nulle, donc les variables de régresseur devraient avoir un coefficient zéro dans le modèle correctement spécifié.$R^2 = 1$$k$

Il existe également une symétrie évidente entre les distributions pour tout donné , c'est-à-dire n'importe quelle ligne de la grille de facettes. Par exemple, comparez avec . Qu'est-ce qui cause ça? Rappelons que la distribution de est l'image miroir de sur . Nous avions maintenant et . Considérons et nous trouvons:n ( k = 3 , n = 9 ) ( k = 7 , n = 9 ) B e t a ( α , β ) B e t a ( β , α ) x = 0,5 α k , n = k - $n$$(k=3, n=9)$$(k=7, n=9)$$\mathrm{Beta}(\alpha, \beta)$$\mathrm{Beta}(\beta, \alpha)$$x=0.5$2 βk,n=n-$\alpha_{k,n} = \frac{k-1}{2}$2 k′=n-k+$\beta_{k,n} = \frac{n-k}{2}$$k'=n-k+1$

α k ′ , n = ( n - k + 1 ) - 12 =n-k2 =βk,nβk′,n=n-(n-k+1

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

Cela explique donc la symétrie car nous faisons varier le nombre de régresseurs dans le modèle pour une taille d'échantillon fixe. Il explique aussi les distributions elles-mêmes symétriques comme cas particulier: pour elles, donc elles sont obligées d'être symétriques avec elles-mêmes!$k' = k$

Cela nous indique quelque chose que nous n'aurions peut-être pas deviné à propos de la régression multiple: pour une taille d'échantillon donnée , et en supposant qu'aucun régresseur n'ait une véritable relation avec , le pour un modèle utilisant régresseurs plus une interception a la même distribution comme fait pour un modèle avec degrés de liberté résiduels restants .n Y R 2 k - 1 1 - R 2 k - 1$n$$Y$$R^2$$k-1$$1 - R^2$$k-1$

Distributions spéciales

Lorsque nous avons , ce qui n'est pas un paramètre valide. Cependant, lorsque la distribution devient dégénérée avec un pic tel que . Cela correspond à ce que nous savons d'un modèle avec autant de paramètres que de points de données - il atteint un ajustement parfait. Je n'ai pas dessiné la distribution dégénérée sur mon graphique mais j'ai inclus la moyenne, le mode et l'écart type.k = n β = 0 β → 0 P ( R 2 = $k=n$$\beta=0$$\beta \to 0$$\mathsf{P}(R^2 = 1)=1$

Lorsque et nous obtenons qui est la distribution d'arc sinus . Ceci est symétrique (depuis ) et bimodal (0 et 1). Puisque c'est le seul cas où à la fois et (marqué en rouge des deux côtés), c'est notre seule distribution qui va à l'infini aux deux extrémités du support.k = 2 n = 3 B e $k=2$$n=3$ a ( 12 ,12 )α=βα<1β$\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$$\alpha = \beta$$\alpha < 1$$\beta < 1$

La distribution est la seule distribution Beta à être rectangulaire (uniforme) . Toutes les valeurs de de 0 à 1 sont également probables. La seule combinaison de et pour laquelle se produit est et (marqué en bleu des deux côtés).B e t a ( 1 ,1 ) R 2 k n α = β = 1 k = 3 $\mathrm{Beta}(1, \, 1)$$R^2$$k$$n$$\alpha = \beta =1$$k=3$$n=5$

Les cas spéciaux précédents ont une applicabilité limitée mais le cas et (vert à gauche, bleu à droite) est important. Maintenant nous avons donc un distribution de loi de puissance sur [0, 1]. Bien sûr, il est peu probable que nous effectuions une régression avec et , ce qui est le cas lorsque cette situation se produit. Mais par l'argument de symétrie précédent, ou une algèbre triviale sur le PDF, lorsque et , qui est la procédure fréquente de régression multiple avec deux régresseurs et une interception sur une taille d'échantillon non triviale,α > 1 β = $\alpha > 1$$\beta=1$ f ( x ;α ,β ) ∝ x α - 1 ( 1 - x ) β - 1 = x α - 1 k = n - 2 k > 3 k = 3 n > 5 R 2 H 0 α = 1 β > $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$$k=n-2$$k>3$$k=3$$n > 5$$R^2$suivra une distribution de loi de puissance réfléchie sur [0, 1] sous . $H_0$Cela correspond à et il est donc marqué bleu à gauche, vert à droite.$\alpha=1$$\beta>1$

Vous avez peut-être également remarqué les distributions triangulaires en et sa réflexion . Nous pouvons reconnaître à partir de leurs et que ce ne sont que des cas particuliers de la loi de puissance et des distributions de loi de puissance reflétées où la puissance est .( k = 5 , n = 7 ) ( k = 3 , n = 7 ) α β 2 - 1 = $(k=5,n=7)$$(k=3,n=7)$$\alpha$$\beta$$2-1=1$

Mode

Si et , tous verts dans le tracé, est concave avec et la distribution bêta a un mode unique . En les mettant en termes de et , la condition devient et tandis que le mode est .α > 1 β > $\alpha>1$$\beta>1$ f ( x ;α ,β ) f ( 0 ) = f ( 1 ) = 0 $f(x; \, \alpha, \, \beta)$$f(0)=f(1)=0$ - 1α + β - 2 knk>3n>k+2k-$\frac{\alpha-1}{\alpha+\beta-2}$$k$$n$$k>3$$n>k+2$$\frac{k-3}{n-5}$

Tous les autres cas ont été traités ci-dessus. Si nous relâchons l'inégalité pour permettre , alors nous incluons les distributions de loi de puissance (vert-bleu) avec et (de manière équivalente, ). Ces cas ont clairement le mode 1, qui correspond en fait à la formule précédente puisque . Si à la place nous autorisions mais demandons toujours , nous trouverions les distributions de loi de puissance réfléchies (bleu-vert) avec et . Leur mode est 0, ce qui correspond à . Cependant, si nous relâchons les deux inégalités simultanément pour permettre àβ = 1 k = n - 2 k > 3 n > 5 ( n - 2 ) - $\beta=1$$k=n-2$$k>3$$n>5$n - 5 =1α=1β>1k=3n>53-$\frac{(n-2)-3}{n-5}=1$$\alpha=1$$\beta>1$$k=3$$n>5$n - 5 =0α=β=1k=3n=5$\frac{3-3}{n-5}=0$$\alpha=\beta=1$, nous trouverions la distribution uniforme (tout bleu) avec et , qui n'a pas de mode unique. De plus, la formule précédente ne peut pas être appliquée dans ce cas, car elle retournerait la forme indéterminée .$k=3$$n=5$$\frac{3-3}{5-5}=\frac{0}{0}$

Quand on obtient une distribution dégénérée avec le mode 1. Quand (en termes de régression, donc il n'y a qu'un seul degré de liberté résiduel) alors comme , et quand (en termes de régression, donc un modèle linéaire simple avec interception et un régresseur) alors comme . Ce seraient des modes uniques sauf dans le cas inhabituel où et (ajustement d'un modèle linéaire simple à trois points) qui est bimodal à 0 et 1. n = k β < 1 n = k - 1 f ( x ) → ∞ x → 1 α < 1 k = 2 f ( x ) → ∞ x → 0 k = 2 n = $n=k$$\beta < 1$$n=k-1$$f(x) \to \infty$$x \to 1$$\alpha < 1$$k=2$$f(x) \to \infty$$x \to 0$$k=2$$n=3$

Signifier

La question posée sur le mode, mais la moyenne de sous le nul est également intéressante - elle a la forme remarquablement simple . Pour une taille d'échantillon fixe, la progression arithmétique augmente à mesure que davantage de régresseurs sont ajoutés au modèle, jusqu'à ce que la valeur moyenne soit 1 lorsque . La moyenne d'une distribution bêta est donc une telle progression arithmétique était inévitable de notre observation précédente que, pour fixe , la somme est constante mais augmente de 0,5 pour chaque régresseur ajouté au modèle.R 2 $R^2$ - 1n - 1 k=$\frac{k-1}{n-1}$$k=n$ αα + β nα+β$\frac{\alpha}{\alpha+\beta}$$n$$\alpha+\beta$$\alpha$

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

Code pour les parcelles

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)