Désaccord entre les valeurs de p et les intervalles de confiance

Il s'agit d'une question concernant le test t dans SPSS.

J'ai deux groupes et je veux tester si les deux moyennes sont égales. J'utilise le test t avec bootstrapping. En fin de compte, j'ai obtenu une valeur de p <0,005, ce qui me ferait généralement rejeter l'hypothèse nulle selon laquelle les moyennes des deux populations sont égales, mais dans mon cas, le zéro se situe dans les intervalles de confiance de 95% BCa bootstrap sur la base de 1000 échantillons .

Dois-je toujours rejeter l'hypothèse de l'égalité des moyens?

Mise en garde: Cette réponse suppose que la question concerne l'interprétation des valeurs de p et des CI amorcés. Une comparaison entre une valeur de p traditionnelle (non amorcée) et un CI amorcé serait un problème différent.

Avec un test t traditionnel (non amorcé), l'IC à 95% et la position de la valeur p par rapport au seuil de 0,05 pour la signification vous diront toujours la même chose. En effet, ils sont tous deux basés sur les mêmes informations: la distribution t de vos degrés de liberté et la moyenne et l'erreur standard observée dans votre échantillon (ou la différence entre les moyennes et l'erreur standard, dans le cas d'un t- à deux échantillons). tester). Si votre CI ne chevauche pas avec 0, alors votre valeur p sera nécessairement <0,05 --- à moins, bien sûr, qu'il y ait un bogue dans le logiciel ou une erreur utilisateur dans la mise en œuvre ou l'interprétation du test.

Avec un test t bootstrapé, les valeurs CI et p sont toutes deux calculées directement à partir de la distribution empirique générée par le bootstrap: la valeur p est simplement le pourcentage des différences de groupe bootstrapées qui sont plus extrêmes que la différence observée d'origine; l'IC à 95% est le milieu à 95% des différences entre les groupes amorcés. Il n'est pas impossible que la valeur de p et l'IC ne soient pas d'accord sur la signification dans un test bootstrap.

Acceptez-vous ou rejetez-vous l'hypothèse nulle?

Dans le contexte d'un test bootstrapé, la valeur de p (par rapport à l'IC) reflète plus directement l'esprit du test d'hypothèse, il est donc plus logique de s'appuyer sur cette valeur pour décider de rejeter ou non la valeur nulle à votre alpha souhaité (généralement 0,05). Donc, dans votre cas, où la valeur p est inférieure à 0,05 mais que l'IC à 95% contient zéro, je recommande de rejeter l'hypothèse nulle .

Tout cela saute les grandes idées sur l'importance réelle de la «signification» et si oui ou non les tests de signification d'hypothèse nulle sont réellement utiles à un outil. En bref, je recommande toujours de compléter toute analyse de test de signification par une estimation de la taille des effets (pour un test t à deux échantillons, la meilleure estimation de la taille de l'effet sera probablement le d de Cohen ), ce qui peut fournir un contexte supplémentaire pour vous aider à comprendre vos résultats.

Article utile connexe: Quelle est la signification d'un intervalle de confiance tiré de rééchantillonnages amorcés?

Si la valeur de p de l'hypothèse nulle est inférieure à 0,05, zéro ne doit pas être contenu dans l'intervalle de confiance à 0,05 du paramètre que vous supposez être nul dans l'hypothèse nulle. C'est la même chose. Il y a donc un bug ou vous ne testez pas la même hypothèse.

EDITER , comme les autres réponses et le commentaire ci-dessous l'indiquent correctement, ce n'est pas toute l'histoire. Cependant, je pense toujours que si un test indique que les groupes ont une moyenne différente (p <0,005) et que l'autre ne rejette pas (p> 0,05), les tests vérifient probablement vraiment une chose différente.

Bien que théoriquement, cette différence puisse être due à des asymptotiques (les bootstrap sont des approximations sur échantillon fini, d'autres tests sont des approximations basées sur des hypothèses de normalité), cette différence est étonnamment grande. Je soutiens qu'il est d'une ampleur alarmante, et sans comprendre ce qui se passe avec cela, vous ne devriez pas encore tirer de conclusions. C'est d'ailleurs exactement ce que vous faites, soit dit en passant, en posant la question ici. Vous pouvez peut-être partager les chiffres et rendre cette question intéressante un peu plus concrète.