Quel est le problème avec les tests post-hoc?

Mon professeur de statistique le dit, tous les livres que je regarde le disent: les tests post-hoc ne sont pas scientifiques. Vous devez d'abord dériver une hypothèse de la théorie, puis collecter des données et les analyser.

Mais je ne comprends vraiment pas quel est le problème.

Supposons que je vois des chiffres de vente pour différentes couleurs de voitures et que je fais l'hypothèse qu'à partir du nombre de voitures de différentes couleurs vendues, le plus grand groupe de voitures dans la rue devrait être blanc. Alors je m'assois un jour dans une rue et je note toutes les couleurs de toutes les voitures qui me croisent. Ensuite, je fais quelques tests et trouve quoi que ce soit.

Maintenant, supposons que je m'ennuie et que je m'assois un jour dans une rue et que je note toutes les couleurs de toutes les voitures qui me dépassent. Depuis que j'aime les graphiques, je trace un joli histogramme et trouve que les voitures blanches forment le plus grand groupe. Je pense donc que la plupart des voitures dans la rue sont peut-être blanches et effectuent des tests.

Comment et pourquoi les résultats ou l'interprétation des résultats du test post-hoc diffèrent-ils de ceux du test d'hypothèse théorique *?

_{* Quel est le nom de l'opposé d'un test post-hoc, de toute façon?}

Je voudrais ajouter que la plupart de nos connaissances sur l'univers (la Terre se déplace autour du Soleil) sont déduites post hoc de l'observation.

Il me semble qu'en physique, il est parfaitement normal de supposer que ce n'est pas une coïncidence si le soleil se lève à l'Est depuis mille ans.

"Vous savez, la chose la plus étonnante m'est arrivée ce soir. Je venais ici, sur le chemin de la conférence, et je suis entré par le parking. Et vous ne croirez pas ce qui s'est passé. J'ai vu une voiture avec le permis plaque ARW 357. Pouvez-vous imaginer? De tous les millions de plaques d'immatriculation en l'état, quelle était la chance que je verrais celle en particulier ce soir? Incroyable! " Richard Feynman

Je sens que je ne suis pas en mesure d'expliquer les aspects techniques profonds de ce problème. Cependant, je pense que beaucoup d'entre eux peuvent être réduits à une intuition.

Dans la première configuration, vous commencez avec une hypothèse que vous vérifiez sur de nouvelles données (de l'expérience conçue). L'étude des chiffres de vente peut vous conduire à une expérience bien conçue très bien conçue, où vous pouvez vraiment décider de la force de votre réponse (puissance statistique, valeurs de p, taille de l'échantillon et bien d'autres choses).

Dans la deuxième configuration, tout d'abord, vous ne décidez rien de la force de la réponse. C'est un problème. Le deuxième problème est que l'extraction de l'hypothèse du même échantillon utilisé pour les tests augmentera de manière très incontrôlable les chances que les modèles aléatoires soient interprétés comme des informations précieuses. Ce que vous faites, c'est de remarquer quelque chose (que les voitures blanches sont en grand nombre) et de vous demander si c'est important. Le fait est que vous avez sélectionné uniquement un fait notable visible sur cet échantillon, en rejetant d'autres hypothèses. En faisant cela, vous avez créé des conditions favorables pour certaines hypothèses et vous brisez les hypothèses de la plupart des tests statistiques a priori.

Il n'est pas scientifique de se comporter comme vous ne le saviez pas sur cette fuite , et de prétendre qu'il s'agit d'une expérience avec toutes ses hypothèses, alors que ce n'est pas vrai. Il est scientifique dans ce cas d'utiliser l'analyse post hoc pour formuler une hypothèse et concevoir une toute nouvelle expérience afin de la tester.

Si vous collectez d'abord des données, puis construisez une théorie basée sur les données, vous risquez d'adapter une histoire à vos observations. Le problème est que nous, les humains, sommes extrêmement doués pour écrire des histoires. Autrement dit: toutes les données peuvent être "expliquées" par une histoire, si l'histoire est juste assez compliquée.

Ce processus fournit de belles anecdotes. Cependant, il n'y a aucune raison pour que cela explique la réalité et / ou fournisse de bonnes prédictions. Vous devez configurer et valider un modèle pour cela.

xkcd note que ce phénomène imprègne les "commentaires" sportifs :

Le phénomène de la paréidolie est lié : voir des modèles là où il n'en existe pas. Voir, par exemple, le "visage" que les gens ont vu dans les images satellites antérieures de Mars:

De plus, au fur et à mesure que vous collectez plus de données, vous devez faire attention à ne pas modifier votre histoire de manière de plus en plus bizarre pour qu'elle "continue" à "expliquer" vos observations :

La science opère en formant des hypothèses (qui sont bien sûr motivées par l'expérience), en faisant des prédictions basées sur ces hypothèses et en les testant. Serait-il sensé d'observer quelque chose dans le passé, de généraliser cette observation dans une théorie, mais de traiter ensuite le passé lui-même comme une sorte d'expérience rétroactive qui valide automatiquement la théorie? Non, car toute la question était de savoir dans quelle mesure votre théorie se généralise, et non si elle a fonctionné une fois dans le passé. C'est pourquoi tester les hypothèses suggérées par les données est considéré comme une mauvaise science.

Votre professeur et les autres réponses ont raison que les analyses post-hoc ont des problèmes. Cependant, vous avez également raison de dire que beaucoup de bonnes données scientifiques proviennent de l'analyse post-hoc. Le point clé est que les expériences correctement conçues doivent être préférées et que l'analyse post-hoc doit être traitée avec prudence et avec des outils spéciaux pour éviter de manquer des artefacts parasites lors de découvertes réelles. Un article de Wikipédia sur le taux de fausses découvertes peut donner un aperçu du problème.

Juste pour donner quelques exemples:

• Si nous prenons des mesures biométriques sur la population mondiale de bovins, nous pouvons conclure que les bovins ont deux narines. Il s'agit en fait d'une analyse post-hoc, mais la majeure partie de la biologie, de la volcanologie ou de l'histoire a été construite de cette façon. La raison pour laquelle nous ne rejetons pas le fait que le bétail a deux narines est la preuve qu'il est si écrasant.
• Nous prenons des données sur des veaux nés l'année précédente dans une ferme bovine donnée. Nous nous rendons compte que chaque mardi sous la pleine lune, plus de 50% des veaux nouveau-nés étaient des femelles - sauf les jours fériés dans ce pays ou les mardis d'hiver. Si nous avions précédemment fait l'hypothèse que ce genre de jours produisait plus de veaux femelles, nous pourrions faire un test d'hypothèse et accepter (ou rejeter) cette hypothèse. Cependant, si nous tenons compte du fait qu'il ne s'agit que d'une analyse post-hoc, les preuves ne seront pas suffisantes pour rejeter un phénomène parasite.

Il y a un article souvent cité qui rejette ironiquement toutes les preuves que les parachutes sont utiles comme anecdotiques - ce qui est juste une classe de preuves particulièrement mauvaise basée sur une analyse post-hoc.

Et pour utiliser un bon exemple utilisé par la réponse de Stephan Kolassa: quelques taches sombres ressemblant à un visage sur Mars peuvent être rejetées comme paréidolie, mais quelque chose reproduisant la Dernière Cène de Leonardo Da Vinci dans les moindres détails ne pouvait pas.

Si vous n'avez pas de théorie soutenant vos propositions, alors même si votre proposition est validée, cela pourrait être par coïncidence et ne prouve rien. Par exemple, je trouve que je fais du pot quand le soleil se lève et je fais ça depuis 10 ans - sur la base de ces données, une analyse post-hoc me dit qu'il y a une relation entre mon pot et le lever du soleil, alors que ce qui existe n'est qu'une coïncidence. Le soleil ne se lève pas parce que vous faites du pot ou vice-versa.

La vie est pleine de coïncidences. Les propositions soutenues par la théorie éliminent de telles coïncidences ou pseudo-relations.

Voici une intuition qui peut vous être utile. Si vous vous ennuyez et comptez les voitures, vous devez toujours vous rappeler que ce que vous voyez est le résultat d'un processus aléatoire. En particulier, les voitures auraient pu être de différentes couleurs.

Par conséquent, si vous faites l'hypothèse que la couleur la plus fréquente est le blanc, peut-être parce que c'est effectivement le cas, mais il se peut aussi que la couleur la plus fréquente soit le rouge mais, dans cette expérience particulière, la plus fréquente était le blanc (ce qui est toujours possible ).

Maintenant, si vous faites du post-hoc , vous testerez que le blanc est le plus fréquent et, étant donné que les données suggèrent cette hypothèse, vous pouvez très bien conclure que le blanc est le plus fréquent ... Au moins, les données ne contrediront jamais l'hypothèse (post-hoc).