Tests de permutation: critères pour choisir une statistique de test

J'utilise régulièrement des tests de permutation et j'adore leur simplicité. J'ai beaucoup appris du livre "Resampling methods" de Good, dans lequel l'auteur semble assez créatif dans son choix de statistiques de test à travers les exemples. De plus, cet article donne l'impression qu'il existe une grande liberté de choisir une statistique de test.

Je me demande s'il existe des exigences théoriques auxquelles une statistique de test doit se conformer . Ou pouvons-nous simplement utiliser n'importe quelle statistique tant qu'elle a un sens intuitif et a de bons taux d'erreur de type I / II?

Par exemple, lorsqu'un test de permutation est utilisé à la place du test t en raison de populations non normales, j'ai vu un certain nombre de fois que la valeur p du test de permutation est toujours obtenue à partir des statistiques t. Bien qu'il ne soit pas nécessairement faux, cela semble être un choix étrange étant donné l'origine de la distribution de Student t.

La statistique t a beaucoup de sens en tant que statistique de test; beaucoup de gens le trouvent intuitif. Si je cite une statistique t de 0,5 ou 5,5, cela vous dit quelque chose - combien d'erreurs standard en dehors des moyennes.

La difficulté - au moins avec une non-normalité modérée - ne réside pas tant dans l'utilisation de la statistique que dans l'utilisation de la distribution t pour sa distribution sous le zéro. La statistique est tout à fait sensée.

Bien sûr, si vous vous attendez à des queues sensiblement plus lourdes que la normale, une statistique plus robuste ferait mieux, mais la statistique t n'est pas très sensible aux légers écarts par rapport à la normalité (par exemple, elle est moins sensible que la statistique du rapport de variance).

Si vous souhaitez utiliser uniquement le numérateur de la statistique, c'est très bien, cela est parfaitement logique en tant que statistique de permutation, si vous êtes intéressé par une différence de moyens. Si vous êtes intéressé par un sens plus général du changement de lieu, cela ouvre une pléthore d'autres possibilités.

Vous avez raison de penser qu'il y a beaucoup de liberté pour choisir une statistique et l'adapter aux circonstances particulières - contre quelles alternatives vous voulez pouvoir ou contre quels problèmes possibles vous aimeriez être robustes (la contamination, par exemple, peut puissance d'impact).

Il n'y a vraiment presque aucune restriction - vous êtes libre de choisir presque n'importe quoi, y compris des statistiques de test inutiles. Il y a certaines considérations auxquelles vous devez vraiment penser lors du choix des tests, bien sûr, mais vous êtes libre de ne pas le faire.

-

Cela dit, certains critères peuvent être appliqués dans diverses circonstances.

Par exemple, si vous êtes particulièrement intéressé par un type spécifique d'hypothèse, vous pouvez utiliser une statistique qui la reflète - par exemple, si vous voulez tester une différence dans les moyennes de population, il est souvent judicieux de faire votre statistique de test liés à une différence dans les moyennes des échantillons.

Si vous savez quelque chose sur le type de distribution que vous pourriez avoir - queues lourdes, ou biais, ou à queue légère mais avec un certain degré de contamination, ou bimodal, ... vous pouvez concevoir une statistique de test qui pourrait bien fonctionner dans de telles circonstances, par exemple, choisir une statistique qui devrait bien fonctionner dans la situation prévue mais qui a une certaine robustesse à la contamination.

-

La simulation est un moyen d'étudier la puissance dans diverses situations.