Quel est l'avantage d'utiliser des tests de permutation?

Lors du test d'hypothèses nulles ou alternatives par une statistique de test , où , appliquez le test de permutation avec l'ensemble de permutations sur et nous avons une nouvelle statistique $U(X)$$X = \{ x_i, ..., x_n\}$$G$$X$

1. Quel est l'avantage d'utiliser le test de permutation par rapport à ne pas l'utiliser? C'est-à-dire à quoi ressemble le test de permutation?

2. Quelles conditions pour que cela se produise? Telles que certaines conditions sur la statistique de test et / ou sur l'hypothèse nulle?$U$

Par exemple,

1. Faut est égal à la valeur p sur la base de , par exemple ? Si oui, pourquoi? (les références sont également appréciées)$T(X)$$U(X)$$X$

   La valeur de p de est définie comme . Si le test de permutation consiste à estimer la distribution de permutation de U (X) | X = x , comment T (X) est-il égal à la valeur de p de U (X) à X = x ? En particulier, il peut y avoir plus d'une distribution dans le H nul , et T (X) ne considère pas les distributions nulles une par une, puis prend \ sup_ {F \ in H} et \ inf_ {c: U (x) \ geq c} .$U(X)$

   $$\inf_{c \in \mathbb R: U(x) \geq c} \sup_{F \in H} P(U(X) \geq c | X \sim F)$$ $U(X) | X=x$$T(X)$$U(X)$$X=x$$H$$T(X)$$\sup_{F\in H}$$\inf_{c: U(x) \geq c}$

2. Le test de permutation devrait-il rendre $T(X)$ distribution sur les hypothèses nulles? Quelles conditions rendront cela possible?

3. Faut - $T(X)$ soit uniformément réparti sur $[0,1]$ ? Quelles conditions rendront cela possible? Notez que lorsque $U(\cdot)$ est une fonction constante, $T(\cdot)$ est également constant à $1$ et la distribution de $T(X)$ est loin d'être uniforme sur $[0,1]$ .

Merci et salutations!

Depuis que la discussion s'est allongée, j'ai pris mes réponses à une réponse. Mais j'ai changé l'ordre.

Les tests de permutation sont «exacts» plutôt qu'asymptotiques (comparer avec, par exemple, les tests de rapport de vraisemblance). Ainsi, par exemple, vous pouvez faire un test de moyenne même sans pouvoir calculer la distribution de la différence de moyenne sous le nul; vous n'avez même pas besoin de spécifier les distributions impliquées. Vous pouvez concevoir une statistique de test qui a une bonne puissance sous un ensemble d'hypothèses sans y être aussi sensible qu'une hypothèse entièrement paramétrique (vous pouvez utiliser une statistique qui est robuste mais qui a une bonne ARE).

Notez que les définitions que vous donnez (ou plutôt celui que vous citez là-bas) ne sont pas universelles; certaines personnes appelleraient U une statistique de test de permutation (ce qui fait un test de permutation n'est pas la statistique mais la façon dont vous évaluez la valeur de p). Mais une fois que vous effectuez un test de permutation et que vous avez attribué une direction car `` les extrêmes sont incompatibles avec H0 '', ce type de définition de T ci-dessus est essentiellement la façon dont vous calculez les valeurs de p - c'est juste la proportion réelle de la distribution de permutation au moins aussi extrême que l'échantillon sous la valeur nulle (la définition même d'une valeur de p).

Ainsi, par exemple, si je veux faire un test (unilatéral, pour plus de simplicité) de moyens comme un test t à deux échantillons, je pourrais faire de ma statistique le numérateur de la statistique t, ou la statistique t elle-même, ou la somme du premier échantillon (chacune de ces définitions est monotone dans les autres, conditionnée à l'échantillon combiné), ou toute transformation monotone d'entre elles, et ont le même test, car elles donnent des valeurs de p identiques. Tout ce que je dois faire est de voir jusqu'où (en termes de proportion) la distribution de permutation de la statistique que je choisis se situe. T tel que défini ci-dessus n'est qu'une autre statistique, aussi bonne que toute autre que je pourrais choisir (T tel que défini étant monotone en U).

T ne sera pas exactement uniforme, car cela nécessiterait des distributions continues et T est nécessairement discret. Parce que U et donc T peuvent mapper plus d'une permutation à une statistique donnée, les résultats ne sont pas équi-probables, mais ils ont un cdf "uniforme" **, mais un où les étapes ne sont pas nécessairement de taille égale .

** ( , et strictement égal à la limite droite de chaque saut - il y a probablement un nom pour ce que c'est réellement)$F(x)\leq x$

Pour des statistiques raisonnables lorsque va à l'infini, la distribution de s'approche de l'uniformité. Je pense que la meilleure façon de commencer à les comprendre est vraiment de les faire dans une variété de situations. $n$$T$

T (X) doit-il être égal à la valeur de p basée sur U (X), pour tout échantillon X? Si je comprends bien, je l'ai trouvé à la page 5 de ces diapositives.

T est la valeur de p (pour les cas où un grand U indique un écart par rapport au U nul et un petit U est cohérent avec lui). Notez que la distribution est conditionnelle à l'échantillon. Sa distribution n'est donc pas «pour n'importe quel échantillon».

Donc, l'avantage d'utiliser le test de permutation est de calculer la valeur de p de la statistique de test d'origine U sans connaître la distribution de X sous null? Par conséquent, la distribution de T (X) ne peut pas être nécessairement uniforme?

J'ai déjà expliqué que T n'est pas uniforme.

Je pense avoir déjà expliqué ce que je considère comme les avantages des tests de permutation; d'autres personnes suggéreront d'autres avantages ( par exemple ).

Est-ce que "T est la valeur de p (dans les cas où un grand U indique que l'écart par rapport au U nul et petit est compatible avec lui)", signifie que la valeur de p pour la statistique de test U et l'échantillon X est T (X)? Pourquoi? Y a-t-il une référence pour expliquer cela?

La phrase que vous avez citée indique explicitement que T est une valeur de p et quand elle l'est. Si vous pouvez expliquer ce qui n'est pas clair à ce sujet, je pourrais peut-être en dire plus. Quant à savoir pourquoi, voir la définition de la valeur de p (première phrase sur le lien) - il découle assez directement de cela

Il y a une bonne discussion élémentaire sur les tests de permutation ici .

-

Edit: j'ajoute ici un petit exemple de test de permutation; ce code (R) ne convient qu'aux petits échantillons - vous avez besoin de meilleurs algorithmes pour trouver les combinaisons extrêmes dans des échantillons modérés.

Envisagez un test de permutation contre une alternative unilatérale:

$H_0: \mu_x = \mu_y$ (certaines personnes insistent sur *)$\mu_x \geq \mu_y$
$H_1: \mu_x < \mu_y$

* mais je l'évite généralement parce que cela tend particulièrement à brouiller le problème pour les étudiants lorsqu'ils essaient de trouver des distributions nulles

sur les données suivantes:

> x;y
[1] 25.17 20.57 19.03
[1] 25.88 25.20 23.75 26.99

Il y a 35 façons de diviser les 7 observations en échantillons de taille 3 et 4:

> choose(7,3)
[1] 35

Comme mentionné précédemment, étant donné les 7 valeurs de données, la somme du premier échantillon est monotone dans la différence de moyennes, alors utilisons-la comme statistique de test. Ainsi, l'échantillon d'origine a une statistique de test de:

> sum(x)
[1] 64.77

Voici maintenant la distribution de permutation:

> sort(apply(combn(c(x,y),3),2,sum))
 [1] 63.35 64.77 64.80 65.48 66.59 67.95 67.98 68.66 69.40 69.49 69.52 69.77
[13] 70.08 70.11 70.20 70.94 71.19 71.22 71.31 71.62 71.65 71.90 72.73 72.76
[25] 73.44 74.12 74.80 74.83 75.91 75.94 76.25 76.62 77.36 78.04 78.07

(Il n'est pas essentiel de les trier, je viens de le faire pour qu'il soit plus facile de voir que la statistique de test était la deuxième valeur depuis la fin.)

On peut voir (dans ce cas par inspection) que est 2/35, ou$p$

> 2/35
[1] 0.05714286

(Notez que ce n'est que dans le cas où il n'y a pas de chevauchement xy qu'une valeur p inférieure à 0,05 est possible ici. Dans ce cas, serait uniforme discret car il n'y a pas de valeurs liées dans )$T$$U$

Les flèches roses indiquent la statistique de l'échantillon sur l'axe des x et la valeur de p sur l'axe des y.