Récemment, j'ai trouvé dans un article de Klammer et al. une déclaration indiquant que les valeurs-p doivent être uniformément distribuées. Je crois les auteurs, mais je ne comprends pas pourquoi.

Klammer, AA, Park, CY et Stafford Noble, W. (2009) Étalonnage statistique de la fonction SEQUEST XCorr . Journal of Proteome Research . 8 (4): 2106-2113.

Pour clarifier un peu. La valeur p est uniformément distribuée lorsque l'hypothèse nulle est vraie et que toutes les autres hypothèses sont satisfaites. La raison en est vraiment la définition de alpha comme la probabilité d'une erreur de type I. Nous voulons que la probabilité de rejeter une hypothèse nulle soit alpha, nous rejetons lorsque le observé , la seule façon que cela se produise pour toute valeur de alpha est lorsque la p-valeur provient d'un uniforme. Distribution. L’utilisation de la bonne distribution (normale, t, f, chisq, etc.) a pour but de transformer la statistique de test en une valeur p uniforme. Si l'hypothèse nulle est fausse, la distribution de la valeur p sera (espérons-le) davantage pondérée vers 0.$\text{p-value} < \alpha$

Les fonctions Pvalue.norm.simet Pvalue.binom.simdu package TeachingDemos pour R simulent plusieurs ensembles de données, calculent les valeurs p et les tracent pour illustrer cette idée.

Regarde aussi:

Murdoch, D, Tsai, Y et Adcock, J (2008). Les valeurs P sont des variables aléatoires. Le statisticien américain , 62 , 242-245.

pour plus de détails.

Modifier:

Puisque les gens lisent encore cette réponse et commentent, j'ai pensé que j'adresserais le commentaire de @ whuber.

Il est vrai qu'en utilisant une hypothèse nulle composée comme , les p-valeurs ne seront distribuées uniformément que lorsque les 2 moyennes sont exactement égales et ne seront pas uniformes si est une valeur inférieure à . Cela peut être facilement vu en utilisant la fonction et en la configurant pour faire un test unilatéral et en simulant avec la simulation et des hypothèses supposées signifie différentes (mais dans la direction de rendre le null vrai).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

En ce qui concerne la théorie statistique, cela n'a pas d'importance. Si je prétendais que je suis plus grand que tous les membres de votre famille, envisagez de vérifier cette affirmation en comparant ma taille à celle de chaque membre de votre famille, un à la fois. Une autre option serait de trouver le membre de votre famille qui est le plus grand et de comparer sa taille avec la mienne. Si je suis plus grand que cette personne, alors je suis plus grand que les autres et mon affirmation est vraie. Si je ne suis pas plus grand que cette personne, alors mon affirmation est fausse. Tester un NULL composite peut être vu comme un processus similaire, plutôt que de tester toutes les combinaisons possibles où nous pouvons tester uniquement la partie égalité, car si nous pouvons rejeter cela, en faveur deμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$alors nous savons que nous pouvons aussi rejeter toutes les possibilités de . Si nous examinons la distribution des valeurs p dans les cas où la distribution ne sera pas parfaitement uniforme mais comportera plus de valeurs plus proches de 1 que de 0, ce qui signifie que la probabilité d'une erreur de type I sera inférieure à la valeur sélectionnée , ce qui en fait un test conservateur. L'uniforme devient la distribution limite à mesure que se rapproche de$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(Les gens qui sont plus au courant de la théorie de la statistique pourraient probablement mieux le dire en termes de supremum de distribution ou quelque chose comme ça). Donc, en construisant notre test en supposant que la partie égale de la valeur null même lorsque la valeur null est composite, nous concevons notre test de manière à avoir une probabilité d'erreur de type I égale à au plus pour toutes les conditions dans lesquelles la valeur null est vraie.$\alpha$

Sous l'hypothèse nulle, votre statistique de test a la distribution (par exemple, normale standard). Nous montrons que la valeur a une distribution de probabilité en d’autres termes, est distribué uniformément. Ceci est valable tant que est inversible, une condition nécessaire est que ne soit pas une variable aléatoire discrète.$T$$F(t)$$P=F(T)$

Ce résultat est général: la distribution d'un CDF inversible d'une variable aléatoire est uniforme sur .$[0,1]$

Soit la variable aléatoire avec la fonction de distribution cumulative pour tout . En supposant que soit inversible, nous pouvons déduire la distribution de la valeur aléatoire p comme suit:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

à partir de laquelle nous pouvons conclure que la distribution de est uniforme sur .$P$$[0,1]$

Cette réponse est similaire à celle de Charlie, mais évite de devoir définir .$t = F^{-1}(p)$

Simulation simple de la distribution des valeurs p en cas de régression linéaire entre deux variables indépendantes:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Je ne pense pas que la plupart de ces réponses répondent à la question en général. Ils sont limités au cas où il existe une hypothèse nulle simple et lorsque la statistique de test a un CDF inversible (comme dans une variable aléatoire continue ayant un CDF strictement croissant). Ces cas sont les cas sur lesquels la plupart des gens ont tendance à se soucier avec le test z et le test t, bien que pour tester une moyenne binomiale (par exemple), on ne dispose pas d'un tel CD. Ce qui est fourni ci-dessus semble correct à mes yeux pour ces cas restreints.

Si les hypothèses nulles sont composites, les choses sont un peu plus compliquées. La preuve la plus générale de ce fait que j'ai vue dans le cas composite en utilisant certaines hypothèses concernant les régions de rejet est fournie dans "Test des hypothèses statistiques" de Leshmann et Romano, pages 63-64. Je vais essayer de reproduire l'argument ci-dessous ...

Nous testons une hypothèse nulle par rapport à une autre hypothèse basée sur une statistique de test, que nous désignons comme la variable aléatoire . La statistique de test est supposée provenir d’une classe paramétrique, c’est-à-dire , où est un élément de la famille des distributions de probabilités , et est un espace de paramètres. L'hypothèse nulle et l'hypothèse alternative forment une partition de dans laquelle $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Le résultat du test peut être noté où pour tout ensemble nous définissons Ici est notre niveau de signification, et désigne la région de rejet du test pour le niveau de signification .

Supposons que les régions de rejet satisfassent le si . Dans ce cas de régions de rejet imbriquées, il est utile de déterminer non seulement si l'hypothèse nulle est rejetée à un niveau de signification donné , mais également de déterminer le niveau de signification le plus petit pour lequel l'hypothèse nulle serait rejetée. Ce niveau est connu sous le nom de valeur-p , ce nombre nous donne une idée de force des données (telles qu'elles sont décrites dans la statistique de test ) en contradiction avec l'hypothèse nulle .

Supposons que pour certains et que . Supposons en outre que les régions de rejet obéissent à la propriété de nidification indiquée ci-dessus. Ensuite, ce qui suit est valable:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Si pour tout , puis pour , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Si pour nous avons pour tout , alors pour nous avons $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Notez que cette première propriété nous indique simplement que le taux de faux positifs est contrôlé à en rejetant lorsque la valeur p est inférieure à , et que la deuxième propriété nous indique (avec une hypothèse supplémentaire) que les valeurs p sont uniformément réparties sous la valeur null. hypothèse.$u$$u$

La preuve est la suivante:

1. Soit , et supposons que pour tout . Ensuite, par définition de , nous avons pour tout . Par monotonie et par hypothèse, il s'ensuit que pour tout . En laissant , il s’ensuit que .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Soit et supposons que pour tout . Puis , et par monotonie, il en résulte que . Considérant (1), il s'ensuit que . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Notez que l'hypothèse entre (2) ne tient pas lorsqu'une statistique de test est discrète, même si l'hypothèse nulle est simple plutôt que composite. Prenons par exemple avec et . C'est-à-dire lancer une pièce dix fois et vérifier si elle est juste vs biaisée vers les têtes (codée en 1). La probabilité de voir 10 têtes sur 10 lancers de pièces justes est de (1/2) ^ 10 = 1/1024. La probabilité de voir 9 ou 10 têtes sur 10 lancers de pièces est de 11/1024. Pour tout strictement compris entre 1/1024 et 11/1024, vous rejetteriez la valeur null si , mais nous n'avons pas ce nom pour les valeurs de quand$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Au lieu de cela pour un tel . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Si les valeurs p sont uniformément réparties sous le H0, cela signifie qu'il est tout aussi probable qu'une valeur p de 0,05 soit considérée comme une valeur p de 0,80, mais ce n'est pas vrai, car il est moins probable d'observer une valeur p. une valeur de 0,05 à une valeur de p de 0,80, car c’est précisément la définition de la distribution normale à partir de laquelle la valeur de p est prise. Par définition, il y aura plus d'échantillons entrant dans la fourchette de normalité qu'en dehors de celle-ci. Par conséquent, plus susceptibles de trouver des valeurs p plus grandes que les plus petites.