Pourquoi les tests du chi carré utilisent-ils le nombre attendu comme variance?

Dans le test $\chi^2$ , quelle est la base de l'utilisation de la racine carrée des dénombrements attendus comme écarts-types (c.-à-d. Les dénombrements attendus comme variances) de chacune des distributions normales? La seule chose que j'ai pu trouver en discutant du tout est http://www.physics.csbsju.edu/stats/chi-square.html , et il ne fait que mentionner les distributions de Poisson.

Comme illustration simple de ma confusion, que se passerait-il si nous testions si deux processus sont significativement différents, l'un qui génère 500 As et 500 Bs avec une très petite variance, et l'autre qui génère 550 As et 450 Bs avec une très petite variance (générant rarement 551 As et 449 Bs)? La variance ici n'est-elle pas clairement non seulement la valeur attendue?

(Je ne suis pas statisticien, donc je cherche vraiment une réponse accessible au non-spécialiste.)

hypothesis-testing chi-squared

— Yang
source

Cela a probablement quelque chose à voir avec le fait que la variance d'une variable aléatoire

χ_{k}^{2}

$\chi^{2}_{k}$ est de

2 k

$2k$ et aussi avec le fait que la statistique doit être multipliée par 2 pour avoir la distribution correcte (comme dans le test du rapport de vraisemblance). Peut-être que quelqu'un le sait plus formellement.

— Macro

Réponses:

La forme générale de nombreuses statistiques de test est

$\frac{observed - expected}{standard error}$

Dans le cas d'une variable normale, l'erreur standard est basée soit sur la variance connue de la population (z-stats), soit sur l'estimation de l'échantillon (t-stats). Avec le binôme, l'erreur standard est basée sur la proportion (proportion hypothétique pour les tests).

Dans un tableau de contingence, le compte dans chaque cellule peut être considéré comme provenant d'une distribution de Poisson avec une moyenne égale à la valeur attendue (sous la valeur nulle). La variance de la distribution de Poisson est égale à la moyenne, nous utilisons donc également la valeur attendue pour le calcul de l'erreur standard. J'ai vu une statistique qui utilise plutôt l'observé, mais elle a moins de justification théorique et ne converge pas aussi bien vers la distribution $\chi^2$ .

— Greg Snow
source

Je suis bloqué sur la connexion avec le Poisson / comprendre pourquoi chaque cellule peut être considérée comme provenant d'un Poisson. Je connais la moyenne / variance de Poissons, et je sais qu'ils représentent le nombre d'événements donné un taux. Je sais également que les distributions du chi carré représentent la somme des carrés des normales standard (variance 1). J'essaie simplement de comprendre la justification de la réutilisation de la valeur attendue comme hypothèse de la "propagation" de chacune des normales. Est-ce juste pour que tout soit conforme à la distribution du chi carré / pour "standardiser" les normales?

— Yang

Il y a quelques problèmes, la distribution de Poisson est courante pour les dénombrements lorsque les choses sont assez indépendantes. Au lieu de penser au tableau comme ayant un total fixe et que vous distribuez les valeurs entre les cellules du tableau, pensez à une seule cellule du tableau et vous attendez un temps fixe pour voir combien de réponses tombent dans cette cellule , cela correspond à l'idée générale du Poisson. Pour des moyennes importantes, vous pouvez approximer un Poisson avec une distribution normale, de sorte que la statistique de test a un sens en tant qu'approximation normale du Poisson, puis convertir en

χ^{2}

$\chi^2$

— Greg Snow

(+1) Supposons que les comptes de cellules

étaient des variables aléatoires de Poisson indépendantes avec une moyenne

. Alors, certainement,

X_{i}, \dots, X_{k}

$X_i,\ldots,X_k$

n π_{i}

$n\pi_i$

dans la distribution. Mais, le problème avec cela est que

est unparamètreet non le nombre réel observé. Les comptes totaux observés sont

. Bien que

presque sûrement par le SLLN, il reste encore du travail à faire pour transformer l'heuristique en quelque chose de réalisable.

\sum_{i = 1}^{k} \frac{(X_{i} - n π_{i})^{2}}{n π_{i}} \to χ_{k}^{2}

$\sum_{i=1}^k \frac{(X_i - n\pi_i)^2}{n \pi_i} \to \chi_k^2$

n

$n$

N = \sum_{i = 1}^{k} X_{i} \sim P o i (n)

$N = \sum_{i=1}^k X_i \sim \mathrm{Poi}(n)$

N / n \to 1

$N/n \to 1$

— cardinal

Comme simple illustration de ma confusion, que se passerait-il si nous testions si deux processus sont significativement différents, l'un qui génère 500 As et 500 Bs avec une très petite variance, et l'autre qui génère 550 As et 450 Bs avec une très petite variance (générant rarement 551 As et 449 Bs)? La variance ici n'est-elle pas clairement non seulement la valeur attendue?

— Yang

@Yang: Cela ressemble à vos données --- que vous n'avez pas décrites --- ne sont pas conformes au modèle sous-jacent à l'utilisation de la statistique du chi carré. Le modèle standard est un échantillonnage multinomial . À proprement parler, même l'échantillonnage de Poisson (inconditionnel) n'est pas couvert, ce que suppose la réponse de Greg. Je fais référence (peut-être obtuse) à cela dans mon commentaire précédent.

— cardinal

Prenons le cas le plus simple pour essayer de fournir le plus d'intuition. Soit un échantillon iid d'une distribution discrète avec résultats. Soit les probabilités de chaque résultat particulier. Nous nous intéressons à la distribution (asymptotique) de la statistique du chi carré $X_1, X_2, \ldots, X_n$ $k$ $\pi_1,\ldots,\pi_k$ Ici est le nombre attendu de dénombrements du ème résultat.

X^{2} = \sum_{i = 1}^{k} \frac{(S_{i} - n π_{i})^{2}}{n π_{i}} .

$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$

n π_{i}

$n \pi_i$

i

$i$

Une heuristique suggestive

Définissez , de sorte que où. $U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$ $X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$ $\U = (U_1,\ldots,U_k)$

Puisque est , alors par le théorème de la limite centrale , $S_i$ $\mathrm{Bin}(n,\pi_i)$ conséquent, nous avons aussi cela, .

T_{i} = \frac{U_{i}}{\sqrt{1 - π_{i}}} = \frac{S_{i} - n π_{i}}{\sqrt{n π_{i} (1 - π_{i})}} \overset{d}{\to} N (0, 1),

$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$

U_{i} \overset{d}{\to} N (0, 1 - π_{i})

$U_i \convd \N(0, 1-\pi_i)$

Maintenant, si les étaient (asymptotiquement) indépendants (ce qu'ils ne sont pas), alors nous pourrions faire valoir que $T_i$ $\sum_i T_i^2$ était asymptotiquement distribué. Mais, notez que est une fonction déterministe de et que les variables ne peuvent donc pas être indépendantes. $\chi_k^2$ $T_k$ $(T_1,\ldots,T_{k-1})$ $T_i$

Par conséquent, nous devons prendre en compte la covariance entre eux d'une manière ou d'une autre. Il s'avère que la façon "correcte" de le faire est d'utiliser à la place le , et la covariance entre les composants de change également la distribution asymptotique de ce que nous aurions pu penser être à ce qui est, en fait, a . $U_i$ $\U$ $\chi_{k}^2$ $\chi_{k-1}^2$

Quelques détails à ce sujet suivent.

Un traitement plus rigoureux

Il n'est pas difficile de vérifier qu'en fait, pour. $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ $i \neq j$

Donc, la covariance de est $\U$ où

A = I - \sqrt{π} {\sqrt{π}}^{T},

$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$

. Notez que

est symétrique et idempotent,savoir

. Ainsi, en particulier, si

a iid des composantes normales standard, alors

. (NBLa distribution normale multivariée dans ce cas estdégénérée.)

\sqrt{π} = (\sqrt{π_{1}}, \dots, \sqrt{π_{k}})

$\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$

A

$\A$

A = A^{2} = A^{T}

$\A = \A^2 = \A^T$

Z = (Z_{1}, \dots, Z_{k})

$\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$

A Z \sim N (0, A)

$\A \Z \sim \N(0, \A)$

Maintenant, le multivariée théorème central limite , le vecteur a une distribution normale à plusieurs variables asymptotique avec une moyenne et covariance . $\U$ $0$ $\A$

Donc, a la même distribution asymptotique que , par conséquent, la même distribution asymptotique de est la même que la distribution de par le théorème de cartographie continue . $\U$ $\A \Z$ $X^2 = \U^T \U$ $\Z^T \A^T \A \Z = \Z^T \A \Z$

Mais, est symétrique et idempotent, donc ( a ) il a des vecteurs propres orthogonaux, ( b ) toutes ses valeurs propres sont 0 ou 1, et ( c ) la multiplicité de la valeur propre de 1 est . Cela signifie que peut être décomposé en où est orthogonal et est une matrice diagonale avec sur la diagonale et les entrées diagonales restantes étant nulles. $\A$ $\mathrm{rank}(\A)$ $\A$ $\A = \mathbf{Q D Q}^T$ $\mathbf{Q}$ $\mathbf{D}$ $\mathrm{rank}(\A)$

Ainsi, doit être distribué puisque a le rang dans notre cas. $\Z^T \A \Z$ $\chi^2_{k-1}$ $\A$ $k-1$

Autres connexions

La statistique du chi carré est également étroitement liée aux statistiques du rapport de vraisemblance. En effet, il s'agit d'une statistique de score de Rao et peut être considérée comme une approximation de la série Taylor de la statistique du rapport de vraisemblance.

Les références

C'est mon propre développement basé sur l'expérience, mais évidemment influencé par des textes classiques. Les bons endroits où chercher pour en savoir plus sont

GAF Seber et AJ Lee (2003), Linear Regression Analysis , 2e éd., Wiley.
E. Lehmann et J. Romano (2005), Testing Statistical Hypotheses , 3e éd., Springer. Section 14.3 en particulier.
DR Cox et DV Hinkley (1979), Statistiques théoriques , Chapman et Hall.

— cardinal
source

(+1) Je pense qu'il est difficile de trouver cette preuve dans des textes standard d'analyse de données catégoriques comme Agresti, A. (2002). Analyse des données catégoriques. John-Wiley.

— suncoolsu

Merci pour le commentaire. Je sais qu'il y a un traitement de la statistique du chi carré à Agresti, mais je ne me souviens pas jusqu'où il va. Il peut simplement faire appel à l'équivalence asymptotique avec la statistique du rapport de vraisemblance.

— cardinal

k - 1

$k-1$

X

$X$

S

$S$