Taille minimale de l'échantillon pour le test t non apparié

Existe-t-il une "règle" pour déterminer la taille d'échantillon minimale requise pour qu'un test t soit valide?

Par exemple, une comparaison doit être effectuée entre les moyennes de 2 populations. Il y a 7 points de données d'une population et seulement 2 points de données de l'autre. Malheureusement, l'expérience est très coûteuse et prend du temps, et il n'est pas possible d'obtenir plus de données.

Un test t peut-il être utilisé? Pourquoi ou pourquoi pas? Veuillez fournir des détails (les variances et les répartitions de la population ne sont pas connues). Si un test t ne peut pas être utilisé, un test non paramétrique (Mann Whitney) peut-il être utilisé? Pourquoi ou pourquoi pas?

Je recommanderais d'utiliser le test non paramétrique de Mann-Whitney U plutôt qu'un test t non apparié ici.

Il n'y a pas de taille d'échantillon minimale absolue pour le test t , mais à mesure que la taille des échantillons diminue, le test devient plus sensible à l'hypothèse que les deux échantillons sont tirés de populations avec une distribution normale. Avec des échantillons aussi petits, en particulier avec un échantillon de deux seulement, vous devez être très sûr que la répartition de la population est normale - et cela doit être basé sur des connaissances externes, car ces petits échantillons ne fournissent en eux-mêmes que très peu d'informations sur la normalité ou non de leurs distributions. Mais vous dites que "les variances et les répartitions de la population ne sont pas connues" (mes italiques).

Le Mann-Whitney test de U ne nécessite aucune hypothèse sur la forme paramétrique des distributions, ne nécessitant que l'hypothèse que les distributions des deux groupes sont les mêmes sous l'hypothèse nulle.

(avertissement: je ne peux pas bien taper aujourd'hui: ma main droite est fracturée!)

Contrairement aux conseils d'utiliser un test non paramétrique dans d'autres réponses, vous devez considérer que pour des échantillons extrêmement petits, ces méthodes ne sont pas très utiles. Il est facile de comprendre pourquoi: dans les études de très petite taille, aucune différence entre les groupes ne peut être établie à moins qu'une grande taille d'effet soit observée. Cependant, les méthodes non paramétriques ne tiennent pas compte de l'ampleur de la différence entre les groupes. Ainsi, même si la différence entre les deux groupes est énorme, avec un échantillon de petite taille, un test non paramétrique échouera toujours à rejeter l'hypothèse nulle.

Prenons cet exemple: deux groupes, distribution normale, même variance. Groupe 1: moyenne 1,0, 7 échantillons. Groupe 2: moyenne 5, 2 échantillons. Il y a une grande différence entre les moyennes.

wilcox.test(rnorm(7, 1), rnorm(2, 5))

   Wilcoxon rank sum test

data:  rnorm(7, 1) and rnorm(2, 5)
W = 0, p-value = 0.05556

La valeur de p calculée est de 0,05556, ce qui ne rejette pas l'hypothèse nulle (à 0,05). Maintenant, même si vous augmentez la distance entre les deux moyennes d'un facteur 10, vous obtiendrez la même valeur de p:

wilcox.test(rnorm(7, 1), rnorm(2, 50))

   Wilcoxon rank sum test

data:  rnorm(7, 1) and rnorm(2, 50)
W = 0, p-value = 0.05556

Maintenant, je vous invite à répéter la même simulation avec le test t et à observer les valeurs de p dans le cas de différences importantes (moyenne 5 vs 1) et énormes (moyenne 50 vs 1).

Il n'y a pas de taille d'échantillon minimale pour un test t; le test t était en fait conçu pour de petits échantillons. Autrefois, lorsque les tableaux étaient imprimés, vous avez vu des tableaux de test t pour de très petits échantillons (mesurés par df).

Bien sûr, comme pour les autres tests, s'il y a un petit échantillon, seul un effet assez important sera statistiquement significatif.

Je suppose que vous voulez dire que vous avez 7 points de données d'un groupe et 2 points de données d'un deuxième groupe, qui sont tous deux des sous-ensembles de populations (par exemple, un sous-ensemble d'hommes et un sous-ensemble de femmes).

Les mathématiques du test t peuvent être obtenues à partir de cette page Wikipedia . Nous supposerons un test t indépendant à deux échantillons, avec des tailles d'échantillon inégales (7 contre 2) et des variances inégales, donc environ à mi-chemin sur cette page. Vous pouvez voir que le calcul est basé sur les moyennes et les écarts-types. Avec seulement 7 sujets dans un groupe et 2 sujets dans un autre, vous ne pouvez pas supposer que vous avez de bonnes estimations pour la moyenne ou l'écart-type. Pour le groupe avec 2 sujets, la moyenne est simplement la valeur qui se situe exactement au milieu des deux points de données, donc elle n'est pas bien estimée. Pour le groupe de 7 sujets, la taille de l'échantillon affecte fortement les variances (et donc les écarts-types, qui sont la racine carrée de la variance) car les valeurs extrêmes exercent un effet beaucoup plus fort lorsque vous avez un échantillon plus petit.

Par exemple, si vous regardez l' exemple de base sur la page Wikipedia pour l'écart-type, vous verrez que l'écart-type est de 2, et la variance (au carré de l'écart-type) est donc de 4. Mais si nous n'avions que les deux premiers points de données (le 9 et le 1), la variance serait 10/2 = 5 et l'écart-type serait 2,2 et si nous n'avions que les deux dernières valeurs (le 4 et le 16), la variance serait 20/2 = 10 et l'écart type serait de 3,2. Nous utilisons toujours les mêmes valeurs, juste un peu moins, et nous pouvons voir l'effet sur nos estimations.

C'est le problème avec l'utilisation de statistiques inférentielles avec de petits échantillons, vos résultats seront particulièrement fortement affectés par l'échantillonnage.

Mise à jour: y a-t-il une raison pour laquelle vous ne pouvez pas simplement rapporter les résultats par sujet et indiquer qu'il s'agit d'un travail exploratoire? Avec seulement deux cas, les données sont très similaires à une étude de cas, et elles sont à la fois (1) importantes à rédiger et (2) à la pratique acceptée.

Article connexe intéressant: «Utilisation du test t de Student avec des tailles de samlpe extrêmement faibles» JCF de Winter (dans Practical Assesment, Research & Evaluation) http://goo.gl/ZAUmGW

Je recommanderais de comparer les conclusions que vous obtenez avec les deux, le test t et le test de Mann-Whitney, et également de jeter un œil aux boîtes à moustaches et à la probabilité de profil de la moyenne de chaque population.

Étant donné qu'un test effectué sur de petits échantillons ne remplit probablement pas les exigences du test (principalement, la normalité des populations dont les deux échantillons ont été prélevés), je recommanderais d'effectuer un test bootstrap (avec des variances inégales), suivant Efron B, Tibshirani Rj. Une introduction au Bootstrap. Boca Raton, FL: Chapman & Hall / CRC, 1993: 220-224. Le code d'un test d'amorçage sur les données fournies par Johnny Puzzled dans Stata 13 / SE est indiqué dans l'image ci-dessus.

Avec un échantillon de 2, la meilleure chose à faire peut être de regarder les chiffres individuels eux-mêmes et de ne pas se soucier de l'analyse statistique.