Calcul de l'espérance mathématique du coefficient de corrélation ou

Je republie une question de math.stackexchange.com , je pense que la réponse actuelle dans math.se n'est pas correcte.

Sélectionnez nombres dans un ensemble , est le ème nombre sélectionné et est le rang de dans les nombres. La sélection est sans remplacement. est toujours inférieur à . Le rang est l'ordre du nombre a après le tri des nombres dans l'ordre croissant.$n$$\{1,2,...,U\}$$y_i$$i$$x_i$$y_i$$n$$n$$U$$n$

Nous pouvons obtenir points de données , et une ligne d'ajustement pour ces points de données peut être trouvée par régression linéaire. (coefficient de corrélation) est la qualité de la droite d'ajustement, je veux calculer ou (corrélation de détermination) .$n$$(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)$$r_{xy}$$\mathbb{E}(r_{xy})$$\mathbb{E}(r_{xy}^2)$

Si le ne peut pas être calculé, une estimation ou une borne inférieure est toujours OK.$\mathbb{E}[r_{xy}]$

Mise à jour: En calculant le coefficient de corrélation de l'échantillon à l'aide de données générées de manière aléatoire, nous pouvons voir que est assez proche de 1, donc je veux le prouver à partir de la vue théorique, ou théoriquement dire que les données générées par la méthode ci-dessus sont très linéaire.$r_{xy}$

Mise à jour: est-il possible d'obtenir la distribution du coefficient de corrélation d'échantillon?

Réorganiser le problème en termes de nouvelles variables, de sorte que . Nous avons alors , comme l'a souligné @whuber dans les commentaires. Ainsi vous régressez effectivement sur , et . Ainsi, si nous pouvons calculer la distribution marginale de et montrer qu'elle est fondamentalement linéaire en le problème est fait et nous aurons .$1\leq z_1<z_2<\dots<z_n\leq U$$(x_i,y_i)=(x_i,z_{x_i})$$z_j$$j$$r_{xy}=r_{xz}$$z_j$$j$$r_{xy}\sim 1$

Nous avons d'abord besoin de la distribution conjointe pour . C'est assez simple, une fois que vous avez la solution, mais je ne l'ai pas trouvée avant de faire le calcul. Juste une brève leçon sur le calcul des mathématiques - je vais donc d'abord présenter les mathématiques, puis la réponse facile.$z_1,\dots,z_n$

Maintenant, la distribution conjointe d'origine est $p(y_1,\dots,y_n)\propto 1$. Changer les variables simplement réétiqueter les choses pour des probabilités discrètes, et donc la probabilité est toujours constante. Cependant, l'étiquetage n'est pas 1 pour 1, donc nous ne pouvons pas simplement écrire$p(z_1,\dots,z_n)=\frac{(U-n)!}{U!}$. Au lieu de cela, nous avons

$$\begin{array}\\p(z_1,\dots,z_n)=\frac{1}{C} & 1\leq z_1<z_2<\dots<z_n\leq U\end{array}$$

Et nous pouvons trouver $C$ par normalisation

$$C=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}\sum_{z_1=1}^{z_2-1}(1)=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}(z_2-1)$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_3=2}^{z_4-1}\frac{(z_3-1)(z_3-2)}{2}=\sum_{z_n=n}^{U}\dots\sum_{z_4=4}^{z_5-1}\frac{(z_4-1)(z_4-2)(z_4-3)}{(2)(3)}$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_{j}=j}^{z_{j+1}-1}{z_j-1 \choose j-1}={U \choose n}$$

Ce qui montre que le rapport de réétiquetage est égal à - pour chacun il y a . Cela a du sens car toute permutation des étiquettes sur conduit au même ensemble de valeurs classées . Maintenant, la distribution marginale , nous répétons ci-dessus mais avec la somme sur supprimée, et une plage de sommation différente pour le reste, à savoir, les minimums changent de à , et nous obtenons:$\frac{(U-n)!}{U!}{U \choose n}=\frac{1}{n!}$$(z_1,\dots,z_n)$$n!$ $(y_1,\dots,y_n)$$y_i$$z_i$$z_1$$z_1$$(2,\dots,n)$$(z_1+1,\dots,z_1+n-1)$

$$p(z_1)=\sum_{z_n=z_1+n-1}^{U}\;\;\sum_{z_{n-1}=z_1+n-2}^{z_n-1}\dots\sum_{z_2=z_1+1}^{z_3-1}p(z_1,z_2,\dots,z_n)=\frac{{U-z_1 \choose n-1}}{{U \choose n}}$$

Avec support $z_1\in\{1,2,\dots,U+1-n\}$. Cette forme, combinée avec un peu d'intuition, montre que la distribution marginale de tout$z_j$ peut être motivée par:

1. choisir $j-1$ valeurs ci-dessous $z_j$, ce qui peut être fait en ${z_j-1\choose j-1}$ (si $z_j\geq j$);
2. choisir la valeur $z_j$, ce qui peut être fait dans un sens; et
3. choisir $n-j$ valeurs ci-dessus $z_j$ ce qui peut être fait en ${U-z_j\choose n-j}$ (si $z_j\leq U+j-n$)

Cette méthode de raisonnement généralisera facilement les distributions conjointes, telles que $p(z_j,z_k)$(qui peut être utilisé pour calculer la valeur attendue de la covariance de l'échantillon si vous le souhaitez). Nous avons donc:

$$\begin{array}{c c}\\p(z_j)=\frac{{z_j-1\choose j-1}{U-z_j\choose n-j}}{{U \choose n}} & j\leq z_j\leq U+j-n \\p(z_j,z_k)=\frac{{z_j-1\choose j-1}{z_k-z_j-1 \choose k-j-1}{U-z_k\choose n-k}}{{U \choose n}} & j\leq z_j\leq z_k+j-k\leq U+j-n \end{array}$$

Maintenant, le marginal est le pdf d'une distribution hypergéométrique négative avec des paramètres$k=j,r=n,N=U$(en termes de notation de l'article). Maintenant, c'est clair pas linéaire exactement$j$, mais l'attente marginale pour $z_j$ est

$$E(z_j)=j\frac{U+1}{n+1}$$

C'est en effet linéaire dans $j$, et vous vous attendez à un coefficient bêta de $\frac{U+1}{n+1}$ de la régression, et de l'ordonnée à zéro.

MISE À JOUR

J'ai arrêté ma réponse un peu avant. Nous avons maintenant terminé, espérons-le, une réponse plus complète

Location $\overline{j}=\frac{n+1}{2}$, et $\overline{z}=\frac{1}{n}\sum_{j=1}^{n}z_j$, le carré attendu de la covariance de l'échantillon entre $j$ et $z_j$ est donné par:

$$E[s_{xz}^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})(z_j-\overline{z})\right]^2$$ $$=\frac{1}{n^2}\left[\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)+2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)\right]$$

Alors nous avons besoin $E(z_j^2)=V(z_j)+E(z_j)^2=Aj^2+Bj$, où $A=\frac{(U+1)(U+2)}{(n+1)(n+2)}$ et $B=\frac{(U+1)(U-n)}{(n+1)(n+2)}$(en utilisant la formule dans le fichier pdf). Ainsi, la première somme devient

$$\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)=\sum_{j=1}^{n}(j^2-2j\overline{j}+\overline{j}^2)(Aj^2+Bj)$$ $$=\frac{n(n-1)(U+1)}{120}\bigg( U(2n+1)+(3n-1)\bigg)$$

Nous avons aussi besoin de $E(z_jz_k)=E[z_j(z_k-z_j)]+E(z_j^2)$.

$$E[z_j(z_k-z_j)]=\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}z_j(z_k-z_j) p(z_j,z_k)$$ $$=j(k-j)\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}\frac{{z_j\choose j}{z_k-z_j \choose k-j}{U-z_k\choose n-k}}{{U \choose n}}=j(k-j)\sum_{z_k=k}^{U+k-n}\frac{{z_k+1 \choose k+1}{U+1-(z_k+1)\choose n-k}}{{U \choose n}}$$ $$=j(k-j)\frac{{U+1\choose n+1}}{{U \choose n}}=j(k-j)\frac{U+1}{n+1}$$ $$\implies E(z_jz_k)=jk\frac{U+1}{n+1}+j^2\frac{(U+1)(U-n)}{(n+1)(n+2)}+j\frac{(U+1)(U-n)}{(n+1)(n+2)}$$

Et la deuxième somme est:

$$2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)$$ $$=\frac{n(U+1)(n-1)}{720(n+2)}\bigg(6(U-n)(n^3-2n^2-9n-2) + (n+2)(5 n^3- 24 n^2- 35 n +6)\bigg)$$

Et donc après quelques manipulations assez fastidieuses, vous obtenez la valeur attendue de la covariance au carré de:

$$E[s_{xz}^2]=\frac{(n-1)(n-2)U(U+1)}{120}-\frac{(U+1)(n-1)(n^3+2n^2+11n+22)}{720(n+2)}$$

Maintenant, si nous avons $U>>n$, le premier terme domine tel quel $O(U^2n^2)$, tandis que le deuxième terme est $O(Un^3)$. On peut montrer que le terme dominant est bien approximé par$E[s_{x}^2s_{z}^2]$, et nous avons une autre raison théorique pour laquelle la corrélation de Pearson est très proche de $1$ (au-delà du fait que $E(z_j)\propto j$).

Maintenant, la variance attendue de l'échantillon de $j$ est juste la variance de l'échantillon, qui est $s_x^2=\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})^2=\frac{(n+1)(n-1)}{12}$. La variance d'échantillon attendue pour$z_j$ est donné par:

$$E[s_z^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(z_j-\overline{z})^2\right]=\frac{1}{n}\sum_{j=1}^{n}E(z_j^2)-\left[\frac{1}{n}\sum_{j=1}^{n}E(z_j)\right]^2$$ $$=\frac{A(n+1)(2n+1)}{6}+\frac{B(n+1)}{2}-\frac{(U+1)^2}{4}$$ $$=\frac{(U+1)(U-1)}{12}$$

Combiner tout ensemble et noter que $E[s_x^2s_z^2]=s_x^2E[s_z^2]$, on a:

$$E[s_x^2s_z^2]=\frac{(n+1)(n-1)(U+1)(U-1)}{144}\approx \frac{(n-1)(n-2)U(U+1)}{120}\approx E[s_{xz}^2]$$

C'est à peu près la même chose que $E[r_{xz}^2]\approx 1$

Si vous voulez seulement montrer $r^2_{xy}$ doit être proche de 1, et calculer une limite inférieure pour cela, c'est simple, car cela signifie pour donné $U$ et $n$il suffit de maximiser la variance des résidus. Cela peut se faire de quatre manières exactement symétriques. Les deux extrêmes (corrélations les plus basses et les plus élevées possibles) sont illustrés pour$U=20, n=9$.

Pour les grandes valeurs de $U$ et des valeurs appropriées de $n$, $r^2_{xy}$ peut en fait se rapprocher de 0. Par exemple, avec $n=100$ et de très grandes valeurs de $U \gg n$, $r^2_{xy} \sim 0.03$ au pire des cas.