Ratatinée

Il y a eu une certaine confusion dans ma tête au sujet de deux types d'estimateurs de la valeur de la population du coefficient de corrélation de Pearson.

A. Fisher (1915) a montré que pour la population normale bivariée, empirique est un estimateur à biais négatif de , bien que le biais ne puisse être pratiquement considérable que pour une petite taille d'échantillon ( ). L'échantillon sous-estime dans le sens où il est plus proche de que . (Sauf lorsque ce dernier est ou , car alors est sans biais.) Plusieurs estimateurs presque sans biais de ont été proposés, le meilleur étant probablement $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ Olkin et Pratt (1958) ont corrigé : $r$

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B. On dit que dans la régression observée, surestime la population R au carré correspondant. Ou, avec une régression simple, c'est que surestime . Sur la base de ce fait, j'ai vu de nombreux textes disant que est positivement biaisé par rapport à , ce qui signifie une valeur absolue: est plus éloigné de que (cette affirmation est-elle vraie?). Les textes disent que c'est le même problème que la surestimation du paramètre d'écart type par sa valeur d'échantillon. Il existe de nombreuses formules pour "ajuster" le observé $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ plus proche de son paramètre de population, le Wherry (1931) étant le plus connu (mais pas le meilleur). La racine d'un tel ajusté est appelée rétréci : $R_\text{adj}^2$ $r_\text{adj}^2$ $r$

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

Deux estimateurs différents de sont présents . Très différent: le premier gonfle , le second dégonfle . Comment les réconcilier? Où utiliser / signaler l'un et où - l'autre? $\rho$ $r$ $r$

En particulier, peut-il être vrai que l'estimateur "rétréci" est (presque) également sans biais, comme celui "sans biais", mais uniquement dans un contexte différent - dans le contexte asymétrique de la régression. En effet, dans la régression OLS, nous considérons les valeurs d'un côté (le prédicteur) comme fixes, sans erreur aléatoire d'un échantillon à l'autre? (Et pour ajouter ici, la régression n'a pas besoin de normalité bivariée .)

— ttnphns
source

Je me demande si cela se résume à quelque chose basé sur l'inégalité de Jensen. Cela, et la normalité bivariée est probablement une mauvaise hypothèse dans la plupart des cas.

— shadowtalker

De plus, ma compréhension du problème dans B. est que la régression

est une surestimation car l'ajustement de régression peut être amélioré arbitrairement en ajoutant des prédicteurs. Cela ne me semble pas être le même problème que dans A.

r^{2}

$r^2$

— shadowtalker

Est-il vrai que

est une estimation positivement biaisée de

pour toutes les valeurs de

? Pour la distribution normale bivariée, cela ne semble pas être le cas pour

assez grand.

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

Le biais peut-il aller dans la direction opposée pour le carré d'un estimateur? Par exemple, avec un estimateur plus simple, peut - il montrer que

pour certaines gammes de

? Je pense que ce serait difficile à faire si

, mais peut-être qu'un exemple plus simple pourrait être élaboré.

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— Anthony

Réponses:

Concernant le biais dans la corrélation: lorsque la taille des échantillons est suffisamment petite pour que le biais ait une signification pratique (par exemple, le n <30 que vous avez suggéré), le biais est probablement le moindre de vos soucis, car l'inexactitude est terrible.

En ce qui concerne le biais de R ² dans la régression multiple, il existe de nombreux ajustements différents qui se rapportent à une estimation de population sans biais par rapport à une estimation sans biais dans un échantillon indépendant de taille égale. Voir Yin, P. & Fan, X. (2001). Estimation de Rretrait² en régression multiple: une comparaison des méthodes analytiques. The Journal of Experimental Education, 69, 203-224.

Les méthodes de régression modernes traitent également du rétrécissement des coefficients de régression ainsi que de R ² en conséquence - par exemple, le filet élastique avec validation croisée k , voir http://web.stanford.edu/~hastie/Papers/ elasticnet.pdf .

— Fred Oswald
source

Je ne sais pas si cela répond vraiment à la question

— shadowtalker

Je pense que la réponse est dans le contexte d'une régression simple et d'une régression multiple. En régression simple avec un IV et un DV, le R sq n'est pas positivement biaisé, et en fait peut être biaisé étant donné que r est biaisé négativement. Mais en régression multiple avec plusieurs IV qui peuvent être eux-mêmes corrélés, R sq peut être positivement biaisé à cause de toute "suppression" qui pourrait se produire. Ainsi, mon avis est que R2 observé surestime le carré R de la population correspondante, mais uniquement en régression multiple

— Dingus
source

R sq is not positively biased, and in-fact may be negatively biasedIntéressant. Pouvez-vous le montrer ou donner une référence? - Dans une population normale bivariée, la statistique Rsq de l'échantillon observé peut-elle être un estimateur biaisé?

— ttnphns

Je pense que tu as tort. Pourriez-vous donner une référence pour sauvegarder votre réclamation?

— Richard Hardy

Désolé, mais c'était plus un exercice de réflexion, donc je n'ai aucune référence.

— Dingus

Je partais du commentaire A ci-dessus, où Fischer a montré que dans une situation normale bivariée, r est un estimateur à biais négatif de rho. Si tel est le cas, ne s'ensuivrait-il pas que R sq est également biaisé négativement?

— Dingus

Peut-être que cela facilitera la conversation digitalcommons.unf.edu/cgi/…

— Dingus