Pourquoi une corrélation Pearson des rangs est-elle valide malgré l'hypothèse de normalité?

Je lis actuellement des hypothèses sur les corrélations de Pearson. Une hypothèse importante pour le test t qui suit semble être que les deux variables proviennent de distributions normales; s'ils ne le font pas, l'utilisation de mesures alternatives telles que le Spearman rho est préconisée. La corrélation de Spearman est calculée comme la corrélation de Pearson, en utilisant uniquement les rangs de X et Y au lieu de X et Y eux-mêmes, n'est-ce pas?

Ma question est: si les variables d'entrée dans une corrélation de Pearson doivent être distribuées normalement, pourquoi le calcul d'une corrélation de Spearman est-il valide même si les variables d'entrée sont des rangs? Mes rangs ne proviennent certainement pas de distributions normales ...

La seule explication que j'ai trouvée jusqu'à présent est que la signification de rho pourrait être testée différemment de celle du test t de corrélation de Pearson (d'une manière qui ne nécessite pas de normalité), mais jusqu'à présent, je n'ai trouvé aucune formule. Cependant, lorsque j'ai exécuté quelques exemples, les valeurs de p pour rho et pour le test t de la corrélation de Pearson des rangs étaient toujours identiques, à l'exception des derniers chiffres. Pour moi, cela ne ressemble pas à une procédure révolutionnaire.

Toutes les explications et idées que vous pourriez avoir seraient appréciées!

— GST95
source

Réponses:

La normalité n'est pas requise pour calculer une corrélation de Pearson; c'est simplement que certaines formes d'inférence sur la quantité de population correspondante sont basées sur des hypothèses normales (IC et tests d'hypothèse).

Si vous n'avez pas de normalité, les propriétés implicites de cette forme particulière d'inférence ne tiendront pas.

Dans le cas de la corrélation Spearman, vous n'avez pas de normalité, mais c'est très bien parce que les calculs d'inférence pour la corrélation Spearman (comme le test d'hypothèse) ne sont pas basés sur une hypothèse de normalité.

Ils sont dérivés en fonction d'un ensemble de rangs appariés à partir d'une distribution bivariée continue; dans ce cas, le test d'hypothèse utilise la distribution de permutation de la statistique de test basée sur les rangs.

Lorsque les hypothèses habituelles d'inférence avec la corrélation de Pearson sont vérifiées (normalité bivariée), la corrélation de Spearman est généralement très proche (bien qu'en moyenne un peu plus proche de 0).

(Donc, lorsque vous pouviez utiliser le Pearson, le Spearman s'en sort souvent très bien. Si vous aviez presque des données normales bivariées en dehors d'une contamination par un autre processus (qui a provoqué des valeurs aberrantes), le Spearman serait un moyen plus robuste d'estimer la corrélation dans la distribution non contaminée.)

— Glen_b -Reinstate Monica
source

Merci, la référence à la distribution de permutation est utile!

— GST95

"le Spearman serait un moyen plus robuste d'estimer la corrélation" Pour nitpick, Spearman estimerait l' association , PAS la corrélation linéaire.

— landroni

@landroni Si je parlais du Spearman en général, vous caractérisez correctement ce que fait le Spearman - mais dans cette phrase, je parle explicitement de comparer deux estimations de la corrélation de la population sous contamination, et je veux dire ce que je dis là littéralement. Imaginez une normale bivariée avec corrélation , puis ajoutez une valeur aberrante vraiment extrême. Si je veux estimer dans cette situation, le Spearman est un estimateur de plus robuste que la corrélation de Pearson.

ρ

$\rho$

ρ

$\rho$

ρ

$\rho$

— Glen_b -Reinstate Monica

@landroni ... Une telle situation peut se produire lorsque vous avez le processus principal qui se comporte bien et certains processus de contamination qui peuvent être très extrêmes mais ne se produisent qu'occasionnellement. Si vous souhaitez estimer la corrélation du processus non contaminé, la corrélation de Pearson est très sensible à la contamination, dans une bien plus grande mesure que le Spearman.

— Glen_b -Reinstate Monica

lorsque j'ai exécuté quelques exemples, les valeurs de p pour rho et pour le test t de la corrélation de Pearson des rangs étaient toujours identiques, à l'exception des derniers chiffres

Eh bien, vous avez exécuté les mauvais exemples!

a = c(1,2,3,4,5,6,7,8,9)
b = c(1,2,3,4,5,6,7,8,90)
cor.test(a,b,method='pearson')

    Pearson's product-moment correlation

data:  a and b
t = 2.0528, df = 7, p-value = 0.0792
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 -0.08621009  0.90762506
sample estimates:
      cor 
0.6130088 

cor.test(a,b,method='spearman')

    Spearman's rank correlation rho

data:  a and b
S = 0, p-value = 5.511e-06
alternative hypothesis: true rho is not equal to 0
sample estimates:
rho 
  1

ab $\rho$ b

A l' inverse, tout aet bavoir une corrélation de rang parfait, leur coefficient de corrélation de Pearson est inférieur à 1. Cela montre que la corrélation de Pearson ne reflète pas les rangs.
Une corrélation de Pearson reflète une fonction linéaire, une corrélation de rang simplement une fonction monotone. Dans le cas de données normales, les deux se ressemblent fortement, et je soupçonne que c'est pourquoi vos données ne montrent pas de grandes différences entre Spearman et Pearson.

Pour un exemple pratique, considérez ce qui suit; vous voulez voir si les personnes plus grandes pèsent plus. Oui, c'est une question idiote ... mais supposez simplement que c'est ce qui vous intéresse. Maintenant, la masse n'évolue pas linéairement avec le poids, car les personnes de grande taille sont également plus larges que les petites personnes; le poids n'est donc pas une fonction linéaire de la taille. Quelqu'un qui est 10% plus grand que vous est (en moyenne) plus de 10% plus lourd. C'est pourquoi l'indice de masse / corps utilise le cube dans le dénominateur.
Par conséquent, vous supposeriez une corrélation linéaire pour refléter de manière inexacte la relation taille / poids. En revanche, la corrélation de rang est insensible aux lois ennuyeuses de la physique et de la biologie dans ce cas; il ne reflète pas si les gens grossissent linéairement à mesure qu'ils gagnent en hauteur, il reflète simplement si les personnes plus grandes (plus haut rang sur une échelle) sont plus lourdes (plus haut rang sur l'autre échelle).

Un exemple plus typique pourrait être celui des classements de questionnaires de type Likert, tels que les personnes évaluant quelque chose comme "parfait / bon / décent / médiocre / mauvais / horrible". "parfait" est aussi loin d'être "décent" que "décent" est "mauvais" sur l'échelle , mais peut-on vraiment dire que la distance entre les deux est la même? Une corrélation linéaire n'est pas nécessairement appropriée. La corrélation de rang est plus naturelle.

Pour répondre plus directement à votre question: non, les valeurs de p pour les corrélations de Pearson et Spearman ne doivent pas être calculées différemment . Beaucoup est différent sur les deux, conceptuellement et numériquement, mais si la statistique de test est équivalente, la valeur p sera équivalente.

Sur la question d'une hypothèse de normalité dans la corrélation de Pearson, voir ceci .
Plus généralement, d' autres personnes ont élaboré beaucoup mieux que moi concernant le sujet des corrélations paramétriques vs non paramétriques (voir aussi ici ), et ce que cela signifie en ce qui concerne les hypothèses de distribution.

— jona
source

Je vous remercie! La prochaine fois, je serai sûr d'expérimenter davantage avec les exemples. :)

— GST95

Non, attendez, en fait ce n'était pas ma question. Je n'ai pas comparé la méthode = "pearson" avec la version method = "spearman" de x et y. J'ai comparé cor.test(x, y, method = "spearman")avec cor.test(rank(x), rank(y), method = "pearson"). Ces estimations seront identiques quelles que soient les données choisies. Merci quand même! :)

— GST95

@ GST95, la corrélation de Spearman est exactement la corrélation de Pearson effectuée sur des données transformées par rang. Vos deux "méthodes" sont vraiment exactement la même méthode.

— Dennis

@Dennis, exactement, je ne comparais pas les coefficients rho (identiques) mais les valeurs de p pour voir si elles étaient toutes les deux obtenues avec un test t.

— GST95