Comment un test t peut-il être statistiquement significatif si la différence moyenne est proche de 0?

J'essaie de comparer les données de 2 populations pour savoir si la différence entre les traitements est statistiquement significative. Les ensembles de données semblent être normalement distribués avec très peu de différence entre les deux ensembles. La différence moyenne est de 0,00017. J'ai effectué un test t par paires, en m'attendant à ne pas rejeter l'hypothèse nulle de non différence entre les moyennes, cependant, ma valeur t calculée est beaucoup plus élevée que ma valeur t critique.

Je ne vois aucune raison de croire que vous avez fait quelque chose de mal simplement parce que le test était significatif, même si la différence moyenne est très faible. Dans un test t apparié, l'importance sera déterminée par trois éléments:

1. l'ampleur de la différence moyenne
2. la quantité de données dont vous disposez
3. l'écart type des différences

Certes, votre différence moyenne est très, très petite. D'un autre côté, vous disposez d'une bonne quantité de données (N = 335). Le dernier facteur est l'écart type des différences. Je ne sais pas ce que c'est, mais puisque vous avez obtenu un résultat significatif, il est sûr de supposer qu'il est suffisamment petit pour surmonter la petite différence moyenne avec la quantité de données dont vous disposez. Pour construire une intuition, imaginez que la différence appariée pour chaque observation de votre étude était de 0,00017, alors l'écart-type des différences serait de 0. Il serait certainement raisonnable de conclure que le traitement a conduit à une réduction (bien que minuscule).

Comme @whuber le note dans les commentaires ci-dessous, il convient de souligner que bien que 0,00017 semble être un très petit nombre en tant que nombre, il n'est pas nécessairement petit en termes significatifs. Pour le savoir, nous aurions besoin de savoir plusieurs choses, premièrement quelles sont les unités. Si les unités sont très grandes (par exemple, années, kilomètres, etc.), ce qui semble être petit peut être significativement grand, tandis que si les unités sont petites (par exemple, secondes, centimètres, etc.), cette différence semble encore plus petite. Deuxièmement, même un petit changement peut être important: imaginez une sorte de traitement (par exemple, un vaccin) qui serait très bon marché, facile à administrer à l'ensemble de la population et n'aurait pas d'effets secondaires. Cela peut valoir la peine, même si cela n'a sauvé que très peu de vies.

Pour savoir si une différence est vraiment grande ou petite nécessite une certaine mesure d'échelle, l'écart-type est une mesure d'échelle et fait partie de la formule du test t pour tenir compte en partie de cette échelle.

Demandez-vous si vous comparez les hauteurs de 5 ans aux hauteurs de 20 ans (humains, même zone géographique, etc.). L'intuition nous dit qu'il y a là une différence pratique et si les hauteurs sont mesurées en pouces ou en centimètres, alors la différence aura un sens. Mais que faire si vous convertissez les hauteurs en kilomètres? ou des années-lumière? alors la différence sera un très petit nombre (mais toujours différent), mais (sauf erreur d'arrondi) le test t donnera les mêmes résultats, que la hauteur soit mesurée en pouces, centimètres ou kilomètres.

Une différence de 0,00017 peut donc être énorme en fonction de l'échelle des mesures.

Si votre critique est inférieur à ce que vous avez calculé et en supposant que le test était approprié pour votre type particulier de données (un «si» important), il semble que votre différence soit statistiquement significative au sens de . Un significatif dans le contexte approprié signifie généralement que votre différence observée est trop fiable non nulle pour soutenir l'hypothèse nulle que les données ne sont "pas du tout différentes". Même une différence de peut être statistiquement significative à partir de zéro si chaque différence observée se situe entre .00015 et .00020. Observer!t $t$unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations$t$$\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

Parce que ces échantillons sont très différents de façon constante, la différence atteint une signification statistique, même s'ils sont de plus petite échelle que beaucoup d'entre nous ont l'habitude de voir en chiffres banals et quotidiens. En fait, vous pouvez réduire les données autant que vous le souhaitez en plaçant autant de zéros que vos calculs peuvent gérer sur le devant de .00001ma première ligne de code R. Cela réduira également l'écart type des différences; c'est-à-dire que vos différences resteront tout aussi cohérentes, votre restera exactement le même, ainsi que sa signification.$t$

Peut-être que vous seriez plus intéressé par la signification pratique que par ce sens littéral de test de signification d'hypothèse nulle. La signification pratique dépendra beaucoup plus de la signification de vos données dans le contexte que de la signification statistique; ce n'est pas une question purement statistique. J'ai cité un exemple utile de ce principe dans une réponse à une question populaire ici, Accueillir les vues bien ancrées des valeurs de p :

$r=.03$

Cette «question de vie et de mort» était la taille de l'effet de l'aspirine sur les crises cardiaques, essentiellement - un exemple puissant de différences numériquement petites et beaucoup moins cohérentes avec une signification pratiquement importante. De nombreuses autres questions avec des réponses solides dont vous pourriez bénéficier méritent des liens ici, notamment:

• Pourquoi «statistiquement significatif» ne suffit-il pas?
• signification pratique vs statistique
• Signification pratique, surtout avec les pourcentages: mesure et seuil "standard"

Référence

Rosenthal, R., Rosnow, RL et Rubin, DB (2000). Contrastes et tailles d'effet dans la recherche comportementale: une approche corrélationnelle . La presse de l'Universite de Cambridge.

Voici un exemple en R qui montre les concepts théoriques en action. 10000 essais de lancer une pièce 10000 fois avec une probabilité de têtes de .0001 comparé à 10000 essais de lancer une pièce 10000 fois avec une probabilité de têtes de .00011

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8,0299, df = 19886,35, valeur p = 1,03e-15 hypothèse alternative: la vraie différence des moyennes n'est pas égale à 0 intervalle de confiance à 95%: -0,1493747 -0,08806253 estimations d'échantillon: moyenne de x moyenne de y 0,9898 1,1063

La différence de moyenne est relativement proche de 0 en termes de perception humaine, mais elle est très statistiquement différente de 0.