À quel niveau un mathématiquement identique à un test de proportions?

CONTEXTE: Sautez en toute sécurité - c'est ici pour référence, et pour légitimer la question.

L'ouverture de cet article se lit comme suit:

"Le célèbre test de contingence chi carré de Karl Pearson est dérivé d'une autre statistique, appelée statistique z, basée sur la distribution normale. Les versions les plus simples de peuvent être mathématiquement identiques aux tests z équivalents. Les tests produisent le même résultat dans toutes les circonstances. À toutes fins utiles, «chi carré» pourrait être appelé «carré z». Les valeurs critiques de pour un degré de liberté sont le carré des valeurs critiques correspondantes de z. " $\chi^2$ $\chi^2$

Cela a été affirmé plusieurs fois dans CV ( ici , ici , ici et d'autres).

Et en effet nous pouvons prouver que est équivalent à avec : $\chi^2_{1\,df}$ $X^2$ $X\sim N(0,1)$

Disons que et que et trouvons la densité de en utilisant la méthode : $X \sim N(0,1)$ $Y=X^2$ $Y$ $cdf$

$p(Y \leq y) = p(X^2 \leq y)= p(-\sqrt{y} \leq x \leq \sqrt{y})$ . Le problème est que nous ne pouvons pas intégrer sous une forme proche la densité de la distribution normale. Mais nous pouvons l'exprimer:

F_{X} (y) = F_{X} (\sqrt{y}) - F_{X} (- \sqrt{y}) .

$F_X(y) = F_X(\sqrt{y})- F_X(-\sqrt[]{y}).$ Prenant le dérivé:

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{2 \sqrt{y}} + F_{X}^{'} (\sqrt{- y}) \frac{1}{2 \sqrt{y}} .

$f_X(y)= F_X'(\sqrt{y})\,\frac{1}{2\sqrt{y}}+ F_X'(\sqrt{-y})\,\frac{1}{2\sqrt{y}}.$

Puisque les valeurs du normal $pdf$ sont symétriques:

$f_X(y)= F_X'(\sqrt{y})\,\frac{1}{\sqrt{y}}$ . Égaliser ceci au $pdf$ du normal (maintenant le $x$ dans le $pdf$ sera $\sqrt{y}$ à brancher dans la partie $e^{-\frac{x^2}{2}}$ du normal $pdf$ ); et en vous rappelant d'inclure $\frac{1}{\sqrt{y}}$ à la fin:

f_{X} (y) = F_{X}^{'} (\sqrt{y}) \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} \frac{1}{\sqrt{y}} = \frac{1}{\sqrt{2 π}} e^{- \frac{y}{2}} y^{\frac{1}{2} - 1}

$f_X(y)= F_X'(\sqrt[]{y})\,\frac{1}{\sqrt[]{y}}= \frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, \frac{1}{\sqrt[]{y}}=\frac{1}{\sqrt{2\pi}}\,e^{-\frac{y}{2}}\, y^{\frac{1}{2}- 1}$

Comparez au pdf du chi square:

f_{X} (x) = \frac{1}{2^{ν / 2} Γ (\frac{ν}{2})} e^{\frac{- x}{2}} x^{\frac{ν}{2} - 1}

$f_X(x)= \frac{1}{2^{\nu/2}\Gamma(\frac{\nu}{2})}e^{\frac{-x}{2}}x^{\frac{\nu}{2}-1}$

Puisque , pour df, nous avons dérivé exactement le du chi carré. $\Gamma(1/2)=\sqrt{\pi}$ $1$ $pdf$

De plus, si nous appelons la fonction prop.test()dans R, nous invoquons le même que si nous décidions . $\chi^2$ chisq.test()

LA QUESTION:

Je reçois donc tous ces points, mais je ne sais toujours pas comment ils s'appliquent à la mise en œuvre réelle de ces deux tests pour deux raisons:

Un test z n'est pas carré.
Les statistiques de test réelles sont complètement différentes:

La valeur de la statistique de test pour un $\chi^2$ est:

$\chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i} = N \sum_{i=1}^n p_i \left(\frac{O_i/N - p_i}{p_i}\right)^2$ où

$\chi^2$ = statistique de test cumulative de Pearson, qui approche asymptotiquement une . = le nombre d'observations de type ; = nombre total d'observations; = = la fréquence (théorique) attendue de type , affirmée par l'hypothèse nulle que la fraction de type dans la population est ; = le nombre de cellules du tableau. $\chi^2$ $O_i$ $i$ $N$ $E_i$ $N p_i$ $i$ $i$ $p_i$ $n$

D'un autre côté, la statistique de test pour un test est: $z$

$\displaystyle Z = \frac{\frac{x_1}{n_1}-\frac{x_2}{n_2}}{\sqrt{p\,(1-p)(1/n_1+1/n_2)}}$ avec , où et sont le nombre de "succès", sur le nombre de sujets dans chacun des niveaux de la catégorie variables, c'est-à-dire et . $\displaystyle p = \frac{x_1\,+\,x_2}{n_1\,+\,n_2}$ $x_1$ $x_2$ $n_1$ $n_2$

Cette formule semble s'appuyer sur la distribution binomiale.

Ces deux statistiques de tests sont clairement différentes et donnent des résultats différents pour les statistiques de test réelles, ainsi que pour les valeurs de p : 5.8481pour le et pour le z-test, où ( merci, @ mark999). La valeur p pour le est , tandis que pour le test z est . La différence expliquée par : (merci @amoeba). $\chi^2$ 2.4183 $\small 2.4183^2=5.84817$ $\chi^2$ 0.015590.0077 $\small 0.01559/2=0.007795$

Alors à quel niveau disons-nous qu'ils sont une seule et même chose?

chi-squared proportion z-test

— Antoni Parellada
source

Mais ce sont deux tests identiques. Z au carré est la statistique du chi carré. Laissez-vous avoir une table de fréquence 2x2 où les colonnes sont les deux groupes et les lignes sont "succès" et "échec". Ensuite, les soi-disant fréquences attendues du test du chi carré dans une colonne donnée sont le profil de colonne (groupe) moyen pondéré (par les N des groupes ) multiplié par le N. de ce groupe. chacun des profils de deux groupes à partir de ce profil de groupe moyen, - ce qui équivaut à tester la différence de profils des groupes les uns des autres, le test z des proportions.

— ttnphns

Dans l'exemple du dernier hyperlien, le est presque le carré de la statistique du test z, mais pas tout à fait, et les valeurs de p sont différentes. De plus, lorsque vous regardez les formules des statistiques de repos ci-dessus, est-il vraiment immédiat qu'elles soient identiques? Ou même l'un au carré de l'autre?

χ^{2}

$\chi^2$

— Antoni Parellada

Dans chisq.test(), avez-vous essayé d'utiliser correct=FALSE?

— mark999

En effet, Antoni. Les deux tests existent avec ou sans Yates. Se pourrait-il que vous calculiez l'un avec mais l'autre sans?

— ttnphns

Je vous remercie! Vous aviez (comme on pouvait s'y attendre) raison. Lorsque la correction Yates est désactivée, l'un n'est que le carré de l'autre. J'ai édité la question en conséquence, bien qu'un peu rapide. Je voudrais toujours prouver algébriquement que les deux statistiques de test sont les mêmes (ou l'une au carré de l'autre), et comprendre pourquoi les valeurs de p sont différentes.

— Antoni Parellada,

Ayons un tableau de fréquence 2x2 où les colonnes sont deux groupes de répondants et les lignes sont les deux réponses "Oui" et "Non". Et nous avons transformé les fréquences en proportions au sein du groupe, c'est-à-dire en profils verticaux :

      Gr1   Gr2  Total
Yes   p1    p2     p
No    q1    q2     q
      --------------
     100%  100%   100%
      n1    n2     N

L'habituel (pas Yates corrigé) de ce tableau, après avoir substitué des proportions au lieu de fréquences dans sa formule, ressemble à ceci: $\chi^2$

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = \frac{n_{1} (p_{1} - p)^{2} + n_{2} (p_{2} - p)^{2}}{p q} .

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]= \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

N'oubliez pas que , l'élément du profil moyen pondéré des deux profils et , et branchez-le dans la formule, pour obtenir $p= \frac{n_1p_1+n_2p_2}{n_1+n_2}$ (p1,q1)(p2,q2)

. . . = \frac{(p_{1} - p_{2})^{2} (n_{1}^{2} n_{2} + n_{1} n_{2}^{2})}{p q N^{2}}

$...= \frac{(p_1-p_2)^2(n_1^2n_2+n_1n_2^2)}{pqN^2}$

Divisez le numérateur et le dénominateur par et obtenez $(n_1^2n_2+n_1n_2^2)$

\frac{(p_{1} - p_{2})^{2}}{p q (1 / n_{1} + 1 / n_{2})} = Z^{2},

$\frac{(p_1-p_2)^2}{pq(1/n_1+1/n_2)}=Z^2,$

la statistique z au carré du test z des proportions pour la réponse "Oui".

Ainsi, la 2x2statistique d'homogénéité du chi carré (et test) est équivalente au test z de deux proportions. Les fréquences dites attendues calculées dans le test du chi carré dans une colonne donnée sont le nprofil vertical moyen pondéré (par le groupe ) (c'est-à-dire le profil du "groupe moyen") multiplié par celui de ce groupe n. Ainsi, il ressort que le chi carré teste l'écart de chacun des profils de deux groupes par rapport à ce profil de groupe moyen, - ce qui équivaut à tester la différence de profils des groupes les uns des autres, qui est le z-test des proportions.

Il s'agit d'une démonstration d'un lien entre une mesure d'association de variables (chi carré) et une mesure de différence de groupe (statistique z-test). Les associations d'attributs et les différences de groupe sont (souvent) les deux facettes de la même chose.

(Montrant l'expansion dans la première ligne ci-dessus, à la demande de @ Antoni):

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}] = \frac{n_1(p_1-p)^2q}{pq}+\frac{n_1(q_1-q)^2p}{pq}+\frac{n_2(p_2-p)^2q}{pq}+\frac{n_2(q_2-q)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(1-p_1-1+p)^2p+n_2(p_2-p)^2(1-p)+n_2(1-p_2-1+p)^2p}{pq} = \frac{n_1(p_1-p)^2(1-p)+n_1(p-p_1)^2p+n_2(p_2-p)^2(1-p)+n_2(p-p_2)^2p}{pq} = \frac{[n_1(p_1-p)^2][(1-p)+p]+[n_2(p_2-p)^2][(1-p)+p]}{pq} = \frac{n_1(p_1-p)^2+n_2(p_2-p)^2}{pq}.$

— ttnphns
source

@ttnphs C'est super! Toute chance que vous pourriez clarifier l'étape intermédiaire dans la première formule de l'équation ( ) - je ne vois pas comment les disparaissent après le signe égal.

χ^{2}

$\chi^2$

q

$q$

— Antoni Parellada

@ttnphs Lorsque je le développe, j'obtiens

n_{1} [\frac{(p_{1} - p)^{2}}{p} + \frac{(q_{1} - q)^{2}}{q}] + n_{2} [\frac{(p_{2} - p)^{2}}{p} + \frac{(q_{2} - q)^{2}}{q}] = n_{1} (\frac{q (p^{2} + p (- 2 p_{1} - 2 q_{1} + p_{1}^{2}) + p (q^{2} + q_{1}^{2})}{p q}) + n_{2} (\frac{q (p^{2} + p (- 2 p_{2} - 2 q_{2}) + p_{2}^{2}) + p (q^{2} + q_{2}^{2})}{p q})

$n_1[\frac{(p_1-p)^2}{p}+\frac{(q_1-q)^2}{q}]+n_2[\frac{(p_2-p)^2}{p}+\frac{(q_2-q)^2}{q}]=n_1(\frac{q(p^2+p(-2p_1-2q_1+p_1^2)+p(q^2+q_1^2)}{pq})+n_2(\frac{q(p^2+p(-2p_2-2q_2)+p_2^2)+p(q^2+q_2^2)}{pq})$

— Antoni Parellada

@ttnphs ... Ou une référence donc c'est moins de travail de taper le latex ... Et j'accepterai rapidement et joyeusement la réponse ...

— Antoni Parellada

@Antoni, expansion insérée.

— ttnphns

@ttnphns Awesome!

— Antoni Parellada