L'augmentation dynamique de la taille de l'échantillon est-elle acceptable, si cela a été dit a priori?

Je suis sur le point de faire une étude sur les mérites d'un stimulus par rapport à un autre avec une conception intra-sujet. J'ai un schéma de permutation conçu pour réduire les effets d'ordre de certaines parties de l'étude (ordre de type de tâche, ordre de stimulus, ordre d'ensemble de tâches). Le schéma de permutation exige que la taille de l'échantillon soit divisible par 8.

Pour déterminer la taille de l'échantillon, je devrais soit faire une supposition sauvage (étant une bonne tradition dans mon domaine), soit calculer la taille de l'échantillon pour ma puissance souhaitée. Le problème est maintenant que je n'ai pas la moindre idée de la taille d'un effet que je vais observer (également une bonne tradition dans mon domaine). Cela signifie que le calcul de la puissance est un peu difficile. Prendre une supposition sauvage, en revanche, pourrait également être mauvais parce que je peux soit sortir avec une taille d'échantillon trop faible ou payer trop d'argent à mes participants et passer trop de temps dans le laboratoire.

Est-il correct de déclarer dès le départ que j'ajoute des participants par lots de 8 personnes jusqu'à ce que je quitte un couloir de deux valeurs p? Par exemple 0,05 <p <0,30? Ou comment recommanderiez-vous autrement, dois-je procéder?

Tout d'abord, pour répondre directement à votre question: non, vous ne pouvez pas continuer jusqu'à ce que vous obteniez une valeur p significative. La conception que vous proposez a un taux d'erreur de type I supérieur à 5%. Cependant, l'idée sous-jacente est correcte, sauf que vous devez ajuster les seuils. En fait, comme @cardinal l'a mentionné dans les commentaires, il y a tout un champ de recherche pour votre question: ce sont les conceptions adaptatives séquentielles, ou séquentielles en groupe, ou plus généralement (ce ne sont pas les mêmes choses, mais tout au long de la lignes de votre idée).

Voici une référence qui illustre certaines des idées de base: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Optimizing Trial Design: Sequential, Adaptive, and Enrichment Strategies Circulation. 2009; 119: 597-605

Avez-vous envisagé d'étudier la puissance sur une gamme de tailles d'effets? Par exemple, je calcule fréquemment la puissance sous forme de courbe et je me retrouve avec une myriade de scénarios potentiels intégrés dans le graphique, dans lesquels je peux ensuite prendre une décision sur la taille de l'échantillon. Par exemple, je pourrais calculer la taille d'échantillon nécessaire pour des mesures d'effet allant de très proche de nul à légèrement supérieur à mes rêves les plus fous, celui-ci va naviguer à travers les pairs.

Je pourrais également tracer d'autres scénarios, selon ce que je ne sais pas sur les données. Par exemple, ci-dessous est un graphique qui calcule la puissance, pas la taille de l'échantillon, mais a un concept similaire. Je connais très peu les données, j'ai donc supposé un taux d'événements de 10% pour une analyse de survie, puis j'ai calculé la puissance de l'étude (la taille de l'échantillon était fixe) sur un certain nombre de conditions:

On pourrait même être en mesure de faire varier dans ce cas le nombre d'événements, ce qui vous laisserait soit plusieurs tracés, soit une "Power Surface". Cela semble être un moyen beaucoup plus rapide de se familiariser au moins là où vous devriez rechercher la taille de l'échantillon, plutôt que de modifier la taille de l'échantillon à la volée. Ou au moins vous donner un seuil où vous pouvez arrêter d'ajouter des personnes. Par exemple, si vos calculs vous disent que 1000 personnes vous permettront de voir un effet de quelque chose de très petit - par exemple, un rapport de risque de 1,01 ou similaire - vous savez que si vous frappez cela, vous pouvez arrêter d'essayer d'ajouter des personnes, car ce n'est pas un problème d'alimentation, mais un problème «il n'y a rien là-bas».

Lorsque je fais des calculs de puissance, la question que je pose habituellement (dans mon domaine, qui a également ces traditions) a tendance à être "Quelle devrait être l'ampleur d'un effet pour que les gens s'en soucient?". Si votre méthode est "significativement" meilleure avec une amélioration de 0,1%, est-ce que quelqu'un s'en souciera? Que diriez-vous d'une amélioration de 0,01%?