Intervalle de confiance et incertitude de la valeur P pour le test de permutation

J'apprends des tests de randomisation en ce moment. Deux questions me viennent à l'esprit:

1. Oui, il est facile et intuitif de calculer la valeur de p avec le test de randomisation (qui, je pense, est le même que le test de permutation?). Cependant, comment pourrions-nous également générer un intervalle de confiance à 95% comme nous le faisons avec les tests paramétriques normaux?

2. Alors que je lis un document de l'Université de Washington sur les tests de permutation , il y a une phrase à la page 13 qui dit:

   Avec 1000 permutations ...., l'incertitude proche de p = 0,05 est d'environ .$\pm 1\%$

   Je me demande comment nous obtenons cette incertitude.

Cependant, comment pourrions-nous également générer un intervalle de confiance à 95% comme nous le faisons avec les tests paramétriques normaux?

Voici une façon de générer un intervalle à partir d'un test de rééchantillonnage, bien qu'il ne soit pas toujours approprié de le considérer comme un intervalle de confiance . Pour un exemple spécifique, faites un test pour une différence de moyenne de deux échantillons. Envisagez de déplacer le deuxième échantillon de (qui peut être positif ou négatif). Ensuite, l'ensemble des valeurs qui conduirait à un non-rejet par le test au niveau pourrait être utilisé comme un intervalle de confiance nominal de pour la différence de moyennes.$^\dagger$$\delta$$\delta$$\alpha$$1-\alpha$

$\dagger$ Certains auteurs (par exemple [1], p364 et suivants , [2]) appellent un intervalle construit de cette façon (valeurs de paramètre non rejetées par le test) un intervalle de consonance - qui est un meilleur nom que l'intervalle de confiance (bien que beaucoup de gens ignorent simplement la différence; par exemple, je crois que Cox et Hinkley appellent ces intervalles de confiance) parce que l'approche ne donne pas nécessairement des intervalles qui ont la couverture souhaitée (dans de nombreuses situations, il est possible de voir que cela devrait); le nom transmet quelque chose sur ce que l'intervalle vous dit (un intervalle de valeurs cohérent avec les données).

Gelman comprend une discussion des raisons pour lesquelles il peut parfois être problématique à considérer universellement eux des intervalles de confiance ici .

Il n'est pas difficile d'explorer la couverture sous des ensembles particuliers d'hypothèses (via la simulation), et il ne manque pas de gens qui appellent les intervalles de bootstrap des «intervalles de confiance» (même lorsqu'ils sont parfois perçus comme n'ayant rien à voir avec la couverture revendiquée).

Plus de détails sur la façon de le faire dans les deux exemples de différence de moyennes sont discutés dans [3], où ils sont appelés intervalles de confiance de randomisation et une affirmation y est faite quant à leur exactitude (quelle affirmation je n'ai pas '' t essayé d'évaluer).

Avec 1000 permutations ...., l'incertitude près de p = 0,05 est d'environ ± 1%.

Je me demande comment nous obtenons cette incertitude?

La valeur p estimée est une proportion binomiale droite. Il a donc la même erreur standard que toute autre proportion binomiale, .$\sqrt{\frac{p(1-p)}{n}}$

Donc, si et , l'erreur-type de la proportion observée est d'environ . Un IC à serait [Alternativement, représente environ erreur standard de chaque côté, ce qui correspondrait à un intervalle de confiance pour la valeur de p sous-jacente d'un bit supérieur à ]$p = 0.05$$n=1000$$0.0069$$90\%$$\pm 1.13\%$$\pm 1\%$$1.45$$85\%$

Donc, au moins dans un sens approximatif, vous pourriez parler de l'incertitude étant "environ 1%"

-

[1] Kempthorne et Folks (1971),
Probability, Statistics, and data analysis ,
Iowa State University Press

[2] LaMotte LR et Volaufová J, (1999),
"Prediction Intervals via Consonance Intervals",
Journal de la Royal Statistical Society. Série D (Le statisticien) , vol. 48, n ° 3, pp. 419-424

[3] Ernst, MD (2004),
"Méthodes de permutation: une base pour l'inférence exacte", Statistical Science , Vol. 19, no 4, 676–685