Comment faire face à l'analyse des données exploratoires et au dragage des données dans les études en petits échantillons?

L'analyse exploratoire des données (EDA) conduit souvent à explorer d'autres «pistes» qui n'appartiennent pas nécessairement à l'ensemble initial d'hypothèses. Je suis confronté à une telle situation dans le cas d'études avec une taille d'échantillon limitée et beaucoup de données collectées à travers différents questionnaires (données socio-démographiques, échelles neuropsychologiques ou médicales - par exemple, fonctionnement mental ou physique, niveau de dépression / anxiété, liste de contrôle des symptômes) ). Il arrive que l'EDA aide à mettre en évidence certaines relations inattendues («inattendues» signifiant qu'elles n'étaient pas incluses dans le plan d'analyse initial) qui se traduisent par des questions / hypothèses supplémentaires.

Comme c'est le cas pour le surapprentissage, le dragage ou l' espionnage des données conduit à des résultats qui ne se généralisent pas. Cependant, lorsque de nombreuses données sont disponibles, il est assez difficile (pour le chercheur ou le médecin) de postuler un ensemble limité d'hypothèses.

J'aimerais savoir s'il existe des méthodes, des recommandations ou des règles empiriques bien reconnues qui peuvent aider à délimiter l'EDA dans le cas d'études sur de petits échantillons.

Je pense que l'essentiel est d'être honnête lors de la communication de tels résultats qu'ils étaient des résultats inattendus de l'EDA et ne faisaient pas partie du plan d'analyse initial basé sur une hypothèse a priori . Certaines personnes aiment qualifier ces résultats de «générateurs d'hypothèses»: par exemple, le premier résultat d'une recherche de cette phrase sur Google Scholar inclut les éléments suivants dans la section de conclusion de son résumé:

Comme il s'agissait d'une analyse "exploratoire", cet effet doit être considéré comme générateur d'hypothèses et évalué de manière prospective dans d'autres essais ...

Veuillez noter que bien qu'il s'agisse d'une analyse de sous-groupe post-hoc, elle provenait d'un essai témoin randomisé, et non d'une étude observationnelle, dans laquelle le problème s'aggrave. Philip Cole a méprisé l'idée que les études observationnelles («épidémiologiques») peuvent générer des hypothèses dans un commentaire délibérément provocateur mais divertissant:

P Cole. La machine à générer des hypothèses. Epidemiology 1993; 4 : 271-273.

Je laisse juste quelques références sur le dragage de données et les études cliniques pour le lecteur intéressé. Ceci est destiné à étendre la bonne réponse de @onestop . J'ai essayé d'éviter les articles se concentrant uniquement sur des comparaisons multiples ou des problèmes de conception, bien que des études avec plusieurs critères d'évaluation continuent de présenter des discussions difficiles et controversées (longtemps après les affirmations de Rothman sur les ajustements inutiles , Epidemiology 1990, 1: 43-46; ou voir la revue de Feise dans BMC Méthodologie de la recherche médicale 2002, 2: 8).

Je crois comprendre que, bien que j'aie parlé d' analyse exploratoire des données , ma question concerne plus généralement l'utilisation de l'exploration de données, avec ses pièges potentiels, en parallèle avec les tests basés sur des hypothèses.

1. Koh, HC et Tan, G (2005). Applications d'exploration de données dans les soins de santé . Journal of Healthcare Information Management , 19 (2), 64-72.
2. Ioannidis, JPA (2005). Pourquoi la plupart des résultats de recherche publiés sont faux . PLoS Medicine , 2 (8), e124.
3. Anderson, DR, Link, WA, Johnson, DH et Burnham, KP (2001). Suggestions pour présenter les résultats de l'analyse des données . The Journal of Wildlife Management , 65 (3), 373-378. - cela fait écho au commentaire de @ onestop sur le fait que nous devons reconnaître l'exploration / modélisation basée sur les données au-delà de l'ensemble initial d'hypothèses
4. Michels, KB et Rosner, BA (1996). Chalutage de données: pour pêcher ou ne pas pêcher . Lancet , 348, 1152-1153.
5. Lord, SJ, Gebski, VJ et Keech, AC (2004). Analyses multiples dans les essais cliniques: science solide ou dragage de données? . The Medical Journal of Australia , 181 (8), 452-454.
6. Smith, GD et Ebrahim, S (2002). Dragage, biais ou confusion des données . BMJ , 325, 1437-1438.
7. Afshartous, D et Wolf, M (2007). Éviter «l'espionnage des données» dans les modèles d'effets multiniveaux et mixtes . Journal de la Royal Statistical Society A , 170 (4), 1035–1059
8. Anderson, DR, Burnham, KP, Gould, WR et Cherry, S (2001). Préoccupations quant à la recherche d'effets qui sont en fait faux . Bulletin de la société Widlife , 29 (1), 311-316.