Test d'hypothèses séquentielles en science fondamentale

Je suis pharmacologue et, d'après mon expérience, presque tous les articles de recherche biomédicale fondamentale utilisent le test t de Student (soit pour étayer l'inférence, soit pour se conformer aux attentes ...). Il y a quelques années, j'ai remarqué que le test t de Student n'était pas le test le plus efficace qui puisse être utilisé: les tests séquentiels offrent beaucoup plus de puissance pour n'importe quelle taille d'échantillon, ou une taille d'échantillon beaucoup plus petite en moyenne pour une puissance équivalente.

Des procédures séquentielles de complexité variable sont utilisées dans la recherche clinique, mais je n'en ai jamais vu une utilisée dans une publication de recherche biomédicale fondamentale. Je note qu'ils sont également absents des manuels de statistiques de niveau d'introduction qui sont tout ce que la plupart des scientifiques de base sont susceptibles de voir.

Ma question est triple:

Compte tenu de l'avantage d'efficacité très substantiel des tests séquentiels, pourquoi ne sont-ils pas plus largement utilisés?
Y a-t-il un inconvénient associé à l'utilisation de méthodes séquentielles qui signifierait que leur utilisation par des non-statisticiens doit être découragée?
Les statistiques sont-elles enseignées aux procédures de test séquentiel?

hypothesis-testing teaching statistical-significance

— Michael Lew
source

Pour être sûr, parlez-vous de ST tel que trouvé dans les essais cliniques, par exemple en.wikipedia.org/wiki/Sequential_analysis ?

— chl

Oui. Il existe plusieurs variantes de tests séquentiels, y compris des tests t séquentiels, mais aucune n'est utilisée dans la recherche fondamentale. Je ne vois aucun obstacle à leur utilisation.

— Michael Lew

(+1) Je suis juste tombé sur un test séquentiel et je me suis posé les mêmes questions.

— steffen

Je ne connais pas grand-chose aux tests séquentiels et à leur application en dehors de l'analyse intermédiaire (Jennison et Turnbull, 2000) et des tests adaptatifs informatisés (van der Linden et Glas, 2010). Une exception est dans certaines études d'IRMf qui sont associées à des coûts élevés et à des difficultés d'inscription des sujets. Fondamentalement, dans ce cas, les tests séquentiels visent principalement à arrêter l'expérience plus tôt. Je ne suis donc pas surpris que ces approches très adaptées ne soient pas enseignées dans les classes statistiques habituelles.

Les tests séquentiels ne sont pas sans écueils, cependant (les erreurs de type I et II doivent être spécifiées à l'avance, le choix de la règle d'arrêt et l'examen multiple des résultats doivent être justifiés, les valeurs de p ne sont pas uniformément réparties sous le zéro comme dans un fixe plan d'échantillonnage, etc.). Dans la plupart des conceptions, nous travaillons avec un cadre expérimental prédéfini ou une étude de puissance préliminaire a été réalisée, afin d'optimiser une sorte de critère de rentabilité, auquel cas des procédures d'essai standard s'appliquent.

Cependant, j'ai trouvé très intéressant l'article suivant de Maik Dierkes sur le plan d' échantillonnage fixe par rapport au plan ouvert: une revendication pour des plans séquentiels d'expériences .

— chl
source

Les chercheurs biomédicaux de base font des analyses intermédiaires tout le temps, ils ne les déclarent tout simplement pas car ils ne savent même pas que cela compte! J'ai interrogé des chercheurs lors d'un congrès national et constaté que plus de 50% ne savaient pas que le contrôle des taux d'erreur du test t de Student dépend d'une taille d'échantillon fixe prédéterminée. Vous pouvez en voir la preuve dans les tailles d'échantillon parfois variables de manière irrégulière utilisées.

— Michael Lew

Certains des inconvénients qui découlent de la complexité des conceptions séquentielles proviennent spécifiquement de la conception des analyses plutôt que de leur mise en œuvre. Peut-être pourrions-nous avoir un ensemble de conceptions prédéfinies pour des expériences de base sur de petits échantillons.

— Michael Lew

@Michael A propos des "fausses" analyses intermédiaires (en regardant les valeurs p alors que l'étude est encore à un stade évolutif): il semble que ce soit une utilisation abusive des statistiques, pas plus.

— chl

@Chi À un certain niveau, oui, les analyses intermédiaires non déclarées et non corrigées sont inappropriées (mais cela se fait dans l'ignorance, une ignorance qui, je crois, indique des insuffisances dans les méthodes d'enseignement des statistiques aux chercheurs biomédicaux de base ...). Cependant, si nous le considérons à un niveau méta, il est possible de trouver des justifications partielles. De nombreuses expériences impliquent des échantillons si petits qu'un taux d'erreur de faux positifs accru peut être un compromis raisonnable pour plus de puissance. La convention exclut un niveau déclaré d'alpha supérieur à 0,05.

— Michael Lew

Je note dans ce contexte que les chercheurs en biomédica de base ne travaillent pas dans une approche exclusivement Neyman-Pearson, même si des affirmations selon lesquelles "des résultats où P <0,05 étaient considérés comme significatifs" pourraient suggérer le contraire. Si nous restons dans les limites des tests de signification de Fisher dans lesquels des considérations autres que la valeur P obtenue peuvent être incorporées dans les décisions sur la façon de traiter les résultats des tests, peut-être que les analyses intermédiaires pourraient ne pas être si mauvaises. Cependant, il est certain qu'un test séquentiel conçu serait supérieur à un test non conçu.

— Michael Lew