Quelle est la différence entre «test d'hypothèse» et «test de signification»?

Y a-t-il une différence entre les expressions «test d'hypothèse» et «test de signification» ou sont-elles les mêmes?

Après une réponse détaillée de @Micheal Lew, j'ai une confusion: de nos jours, l'hypothèse (par exemple, test t pour tester la moyenne) est un exemple de "test de signification" ou de "test d'hypothèse"? Ou est-ce une combinaison des deux? Comment les différencieriez-vous avec un exemple simple?

Le test de signification est ce que Fisher a conçu et le test d'hypothèse est ce que Neyman et Pearson ont conçu pour remplacer le test de signification. Ils ne sont pas identiques et sont mutuellement incompatibles dans une mesure qui surprendrait la plupart des utilisateurs de tests d'hypothèse nulle.

Les tests de signification de Fisher donnent une valeur p qui représente l'extrême gravité des observations sous l'hypothèse nulle. Cette valeur de p est un indice de preuve par rapport à l'hypothèse nulle et au niveau de signification.

Les tests d'hypothèse de Neyman et Pearson établissent à la fois une hypothèse nulle et une hypothèse alternative et fonctionnent comme une règle de décision pour accepter l'hypothèse nulle. En bref (il y a plus que je ne peux mettre ici), vous choisissez un taux acceptable d'inférence faussement positive, alpha (généralement 0,05), et acceptez ou rejetez la valeur nulle selon que la valeur p est supérieure ou inférieure à alpha. Vous devez respecter la décision du test statistique si vous souhaitez vous protéger contre les erreurs fausses positives.

L'approche de Fisher vous permet de prendre en compte tout ce que vous aimez dans l'interprétation du résultat, par exemple des preuves préexistantes peuvent être prises en compte de manière informelle dans l'interprétation et la présentation du résultat. Dans l'approche NP, cela ne peut être fait qu'au stade de la conception expérimentale et semble rarement être fait. À mon avis, l'approche Fisherian est plus utile dans le travail de base en bioscience que l'approche NP.

Il existe une littérature substantielle sur les incohérences entre les tests de signification et les tests d'hypothèse et sur l'hybridation malheureuse des deux. Vous pouvez commencer par cet article: Goodman, Toward evidence-based medical statistics. 1: Le sophisme de la valeur P. http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

Dans de nombreux cas, ces deux déclarations signifient la même chose. Cependant, ils peuvent également être très différents.

Tester une hypothèse consiste d'abord à dire ce que vous pensez qu'il se produira avec un phénomène, puis à développer une sorte de test pour ce phénomène, puis à déterminer si le phénomène s'est réellement produit ou non. Dans de nombreux cas, le test d'une hypothèse ne nécessite aucun type de test statistique. Je me souviens de cette citation du physicien Ernest Rutherford - Si votre expérience a besoin de statistiques, vous auriez dû faire une meilleure expérience. Cela dit, le test d'hypothèses utilise normalement une sorte d'outil statistique.

En revanche, le test de signification est un concept purement statistique. En substance, on a deux hypothèses - l'hypothèse nulle, qui stipule qu'il n'y a pas de différence entre vos deux (ou plus) collections de données. L'hypothèse alternative est qu'il existe une différence entre vos deux échantillons qui ne s'est pas produite par hasard.

Sur la base de la conception de votre étude, vous comparez ensuite les deux échantillons (ou plus) à l'aide d'un test statistique, qui vous donne un nombre, que vous comparez ensuite à une distribution de référence (comme les distributions normales, t ou F) et si cette statistique de test dépasse une valeur critique, vous rejetez l'hypothèse nulle et concluez qu'il y a une différence entre les deux (ou plus) échantillons. Ce critère est normalement que la probabilité que la différence se produise par hasard est inférieure à un sur vingt (p <0,05), bien que d'autres soient parfois utilisés.