Comment créer un intervalle de confiance pour le paramètre d'un test de permutation?

Les tests de permutation sont des tests de signification basés sur des rééchantillons de permutation tirés au hasard à partir des données originales. Les rééchantillons de permutation sont dessinés sans remplacement, contrairement aux échantillons bootstrap, qui sont dessinés avec remplacement. Voici un exemple que j'ai fait dans R d'un test de permutation simple. (Vos commentaires sont les bienvenus)

Les tests de permutation présentent de grands avantages. Ils ne nécessitent pas de formes de population spécifiques telles que la normalité. Ils s'appliquent à une variété de statistiques, pas seulement aux statistiques qui ont une distribution simple sous l'hypothèse nulle. Ils peuvent donner des valeurs de p très précises, quelles que soient la forme et la taille de la population (si suffisamment de permutations sont utilisées).

J'ai également lu qu'il est souvent utile de donner un intervalle de confiance avec un test, qui est créé en utilisant le rééchantillonnage bootstrap plutôt que le rééchantillonnage par permutation.

Pourriez-vous expliquer (ou simplement donner le code R) comment un intervalle de confiance est construit (c'est-à-dire pour la différence entre les moyennes des deux échantillons dans l'exemple ci-dessus)?

ÉDITER

Après quelques recherches sur Google, j'ai trouvé cette lecture intéressante .

Vous pouvez utiliser le rééchantillonnage par permutation. Cela dépend vraiment d'un certain nombre de facteurs. Si vos permutations sont un nombre relativement faible, votre estimation de votre intervalle de confiance n'est pas si grande avec les permutations. Vos permutations sont dans une sorte de zone grise et sont probablement très bien.

La seule différence par rapport à votre code précédent est que vous généreriez vos échantillons au hasard plutôt qu'avec des permutations. Et vous en généreriez plus, disons 1000 par exemple. Obtenez les scores de différence pour vos 1000 répétitions de votre expérience. Prenez les seuils pour le milieu 950 (95%). Voilà votre intervalle de confiance. Il tombe directement du bootstrap.

Vous avez déjà fait la plupart de cela dans votre exemple. dif.treat a une longueur de 462 articles. Par conséquent, vous avez besoin des seuils inférieurs de 2,5% et supérieurs de 2,5% (environ 11 éléments à chaque extrémité).

Utiliser votre code d'avant ...

y <- sort(dif.treat)
ci.lo <- y[11]
ci.hi <- y[462-11]

D'un côté, je dirais que 462 est un peu faible, mais vous trouverez un bootstrap à 10000 qui sort avec des scores peu différents (probablement plus proches de la moyenne).

Je pensais aussi ajouter du code simple nécessitant la bibliothèque de démarrage (basé sur votre code précédent).

diff <- function(x,i) mean(x[i[6:11]]) - mean(x[i[1:5]])
b <- boot(total, diff, R = 1000)
boot.ci(b)

Comme un test de permutation est un test exact , vous donnant une valeur de p exacte. L'amorçage d'un test de permutation n'a pas de sens.

À côté de cela, déterminer un intervalle de confiance autour d'une statistique de test n'a pas non plus de sens, car il est calculé en fonction de votre échantillon et non d'une estimation. Vous déterminez des intervalles de confiance autour d'estimations comme les moyennes et les goûts, mais pas autour des statistiques de test.

Les tests de permutation ne doivent pas être utilisés sur des ensembles de données si gros que vous ne pouvez plus calculer toutes les permutations possibles. Si tel est le cas, utilisez une procédure d'amorçage pour déterminer la coupure de la statistique de test que vous utilisez. Mais encore une fois, cela n'a pas grand-chose à voir avec un intervalle de confiance à 95%.

Un exemple: j'utilise ici la statistique T classique, mais j'utilise une approche simple du bootstrap pour le calcul de la distribution empirique de ma statistique. Sur cette base, je calcule une valeur de p empirique:

x <- c(11.4,25.3,29.9,16.5,21.1)
y <- c(23.7,26.6,28.5,14.2,17.9,24.3)

t.sample <- t.test(x,y)$statistic
t.dist <- apply(
      replicate(1000,sample(c(x,y),11,replace=F)),2,
      function(i){t.test(i[1:5],i[6:11])$statistic})

# two sided testing
center <- mean(t.dist)
t.sample <-abs(t.sample-center)
t.dist <- abs(t.dist - center)
p.value <- sum( t.sample < t.dist ) / length(t.dist)
p.value

Tenez compte du fait que ce test bilatéral ne fonctionne que pour les distributions symétriques. Les distributions non symétriques ne sont généralement testées que sur une seule face.

ÉDITER :

OK, j'ai mal compris la question. Si vous souhaitez calculer un intervalle de confiance sur l'estimation de la différence, vous pouvez utiliser le code mentionné ici pour l'amorçage au sein de chaque échantillon. Attention, il s'agit d'une estimation biaisée: cela donne généralement un IC trop petit. Voir également l'exemple donné comme une raison pour laquelle vous devez utiliser une approche différente pour l'intervalle de confiance et la valeur de p.

Du code Joris Meys dans les réponses mais avec des modifications pour lui permettre d'être appliqué dans plus d'une seule situation:

J'ai essayé de modifier l'autre mais je n'ai pas eu le temps de terminer et pour une raison quelconque, je ne peux pas commenter (peut-être parce que c'est une vieille question).

x <- c(11.4,25.3,29.9,16.5,21.1)
y <- c(23.7,26.6,28.5,14.2,17.9,24.3)

t.sample <- t.test(x,y)$statistic

t.dist <- apply(
          replicate(1000,sample(c(x,y),length(c(x,y)),replace=F)), 2,
          function(i){t.test(i[1:length(x)],i[length(x)+1:length(c(x,y))])$statistic})

# two sided testing
center <- mean(t.dist)
t.sample <-abs(t.sample-center)
t.dist <- abs(t.dist - center)
p.value <- sum( t.sample < t.dist ) / length(t.dist)
p.value