Conséquences du dépassement de la taille de l'échantillon après la détermination de l'échantillon dans l'analyse de puissance

Défi

Dans notre bureau, j'ai participé à une discussion sur la taille de l'échantillon et son influence sur la taille de l'effet - pouvez-vous m'aider et m'expliquer davantage?

Base

Lors d'une analyse de puissance, on peut déterminer la taille de l'échantillon pour une taille d'effet spécifique dans une conception spécifique.

Problème / Discussion

Que se passe-t-il si la taille d'échantillon déterminée a priori est dépassée (par exemple, l'échantillon déterminé dans l'analyse de puissance était , mais nous pourrions obtenir )? $N=100$ $N=1000$

Position 1: Les échantillons de grande taille coupent / détruisent les effets. Lors de l'utilisation d'échantillons plus grands que ceux déterminés dans l'analyse de la puissance, il existe un danger que «tout devienne significatif» (même des effets mineurs, pratiquement non pertinents). Par conséquent, nous devons nous fier à un échantillon déterminé à partir d'une analyse de puissance. Ce faisant, nous pouvons révéler des effets «réels / pertinents».

Position 2: La détermination de la taille de l'échantillon se réfère à lataille minimale de l' échantillon qui est nécessaire pour révéler un effet donné. Des échantillons de grande taille sont bénéfiques, par exemple en raison d'une diminution de l'erreur de mesure. Par conséquent, les effets réels peuvent être révélés plus facilement. Les calculs de taille d'effet post hoc fournissent des informations sur la pertinence de l'effet.

Position 3: La position 1 par rapport à la position 2 dépend de la conception de l'étude (par exemple, la position 1 pour le test t en raison de la recherche d '«effets pertinents», mais la position 2 pour CFA / SEM pour obtenir des résultats plus stables et fiables).

Position 4: Une autre position possible pour une explication alternative.

— Jens
source

le danger se présente que «tout devienne significatif» (même des effets mineurs, pratiquement sans importance).

Ce n'est pas un argument contre de grands échantillons, c'est un argument direct contre le test d'hypothèse pour votre problème particulier.

Si vous avez un problème de rejet pour de petites tailles d'effet, n'utilisez pas de tests d'hypothèse ordinaires .

Il se peut que vous ayez besoin d'un test d'équivalence (ou peut-être d'un test de non-infériorité).

Il se peut que vous ayez besoin d'une estimation d'intervalle de la taille de l'effet (c'est-à-dire un intervalle de confiance).

Il se peut que vous ayez besoin d'autre chose.

Cela concerne également la position 3. Si vous avez une notion d '«effet pertinent», vous ne devriez pas utiliser de tests d'hypothèse ordinaires .

Si votre position n'est pas que plus de puissance est meilleure, arrêtez d'utiliser ces tests d'hypothèse . Ce n'est pas l'outil approprié pour ce travail.

— Glen_b -Reinstate Monica
source

Tests d'équivalence ... Je dois obtenir plus d'informations à ce sujet. Cela a beaucoup de sens ...

— Antoni Parellada

Quelles sont les bonnes sources d'information sur les tests d'équivalence? Je n'ai pas trouvé grand-chose en ligne.

— Clarinettiste

Mon entreprise a été approchée par une autre entreprise demandant des commentaires sur un plan d'étude proposé. Ils ont tenté d'utiliser un test bilatéral de la forme pour montrer qu'il n'y avait pas de différence dans veux dire. Lorsque je leur ai expliqué à deux reprises pourquoi cela était manifestement faux et que je leur ai montré que l'organisme de réglementation qui supervisait leur conduite était conscient de cette faille, ils m'ont ignoré .

H_{0} : μ_{1} - μ_{2} = 0 vs. H_{a} : μ_{1} - μ_{2} \neq 0

$H_0 : \mu_1 - \mu_2 = 0 \quad \text{vs.} \quad H_a : \mu_1 - \mu_2 \ne 0$

— heropup

Pour faire des réclamations d' équivalence , alors, la structure du test d'hypothèse pourrait être (pour tester les différences de moyennes) où est une marge d'équivalence considérée comme une norme de similitude acceptable. Notez que nous ne pouvons pas simplement et . Je laisse le soin au lecteur de comprendre pourquoi.

H_{0} : | μ_{1} - μ_{2} | \geq Δ vs. H_{a} : | μ_{1} - μ_{2} | < Δ,

$H_0 : |\mu_1 - \mu_2| \ge \Delta \quad \text{vs.} \quad H_a : |\mu_1 - \mu_2| < \Delta,$

Δ

$\Delta$

H_{0}

$H_0$

H_{a}

$H_a$

— heropup

@Glen_b pourriez-vous mentionner quelques références pour en savoir plus sur les tests d'équivalence? Pourtant, je n'ai trouvé que quelques papiers.

— Jens