Exagérons-nous l’importance des hypothèses et de l’évaluation des modèles à une époque où les analyses sont souvent effectuées par des non-spécialistes?

En bout de ligne , plus j'en apprends sur les statistiques, moins je me fie aux articles publiés dans mon domaine; Je crois simplement que les chercheurs ne font pas assez bien leurs statistiques.

Je suis un profane, pour ainsi dire. J'ai une formation en biologie mais je n'ai aucune formation formelle en statistique ou en mathématiques. J'apprécie R et fais souvent un effort pour lire (et comprendre ...) certains des fondements théoriques des méthodes que j'applique lors de mes recherches. Cela ne me surprendrait pas si la majorité des personnes qui effectuent des analyses aujourd'hui ne sont pas formellement formées. J'ai publié environ 20 articles originaux, dont certains ont été acceptés par des revues reconnues et des statisticiens ont souvent participé au processus de révision. Mes analyses incluent généralement l'analyse de survie, la régression linéaire, la régression logistique et les modèles mixtes. Jamais un critique n’a posé de questions sur les hypothèses, l’adéquation ou l’évaluation du modèle.

Ainsi, je ne me suis jamais vraiment préoccupé des hypothèses, de l’adéquation et de l’évaluation des modèles. Je commence par une hypothèse, exécute la régression puis présente les résultats. Dans certains cas, j'ai fait un effort pour évaluer ces choses, mais je me suis toujours retrouvé avec " bien, cela ne remplissait pas toutes les hypothèses, mais je me fie aux résultats (" connaissance de la matière ") et ils sont plausibles, donc ça va. " quand ils consultaient un statisticien, ils semblaient toujours être d'accord.

Maintenant, j'ai parlé à d'autres statisticiens et non statisticiens (chimistes, médecins et biologistes) qui effectuent eux-mêmes des analyses; il semble que les gens ne se préoccupent pas vraiment de toutes ces hypothèses et évaluations formelles. Mais ici, sur CV, il y a une abondance de personnes qui se posent des questions sur les résidus, l'ajustement du modèle, les moyens de l'évaluer, les valeurs propres, les vecteurs, etc. Permettez-moi de le dire ainsi, lorsque lme4 met en garde sur de grandes valeurs propres, je doute vraiment que beaucoup de ses utilisateurs se soucient de résoudre ce problème ...

Vaut-il l'effort supplémentaire? N'est-il pas probable que la majorité de tous les résultats publiés ne respectent pas ces hypothèses et ne les ont peut-être même pas évaluées? Il s’agit probablement d’un problème croissant, car les bases de données grossissent de jour en jour et il est admis que plus les données sont volumineuses, moins les hypothèses et les évaluations sont importantes.

Je peux me tromper, mais c’est ainsi que j’ai perçu cela.

Mise à jour: Citation empruntée à StasK (ci-dessous): http://www.nature.com/news/science-joins-push-to-screen-statistics-in-papers-1.15509

J'ai une formation de statisticien et non de biologiste ou de médecin. Mais je fais pas mal de recherches médicales (en travaillant avec des biologistes et des médecins), dans le cadre de mes recherches, j'ai beaucoup appris sur le traitement de différentes maladies. Cela signifie-t-il que si un ami me demande une maladie au sujet de laquelle j'ai effectué des recherches, je ne peux que lui rédiger une ordonnance pour un médicament que je connais couramment utilisé pour traiter cette maladie? Si je devais le faire (ce n'est pas le cas), dans de nombreux cas, cela fonctionnerait probablement bien (puisqu'un médecin aurait simplement prescrit le même médicament), mais il est toujours possible qu'ils aient une allergie / un médicament. interaction / autre sur laquelle un médecin saurait demander, que je ne fais pas et que je finis par causer plus de tort que de bien.

Si vous faites des statistiques sans comprendre ce que vous supposez et ce qui pourrait mal tourner (ou si vous consultez un statisticien tout au long du chemin qui recherchera ces choses-là), vous vous livrez à des pratiques statistiques abusives. La plupart du temps, ce sera probablement OK, mais qu'en est-il de l’occasion où une hypothèse importante ne tient pas, mais vous l’ignorez?

Je travaille avec des médecins qui sont raisonnablement compétents sur le plan statistique et qui peuvent effectuer une grande partie de leur propre analyse, mais ils vont tout de même me dépasser. Souvent, je confirme qu’ils ont bien agi et qu’ils peuvent effectuer l’analyse eux-mêmes (et ils sont généralement reconnaissants de la confirmation), mais parfois, ils agissent de manière plus complexe et lorsque je leur propose une meilleure approche, ils renversent généralement l’analyse. à moi ou mon équipe, ou du moins m'amener pour un rôle plus actif.

Donc, ma réponse à votre question de titre est "Non", nous n'exagérons pas. Nous devrions plutôt insister davantage sur certaines choses afin que les non-spécialistes soient plus susceptibles de vérifier au moins leurs procédures / résultats avec un statisticien.

Modifier

Ceci est un ajout basé sur le commentaire d'Adam ci-dessous (sera un peu long pour un autre commentaire).

Adam, merci pour votre commentaire. La réponse courte est "je ne sais pas". Je pense que des progrès ont été réalisés dans l'amélioration de la qualité statistique des articles, mais les choses ont évolué si rapidement de nombreuses façons différentes qu'il faudra un certain temps pour rattraper et garantir la qualité. Une partie de la solution consiste à se concentrer sur les hypothèses et les conséquences des violations dans les cours d'introduction aux statistiques. Cela est plus susceptible de se produire lorsque les cours sont dispensés par des statisticiens, mais doit se produire dans tous les cours.

Certaines revues vont mieux, mais j'aimerais qu'un critique statisticien devienne la norme. Un article paru il y a quelques années (désolé, la référence n'est pas disponible, mais c'était dans JAMA ou dans le New England Journal of Medicine) qui montrait une probabilité plus élevée d'être publié (bien que la différence ne soit pas aussi grande qu'elle devrait l'être). être) à JAMA ou NEJM si un biostatisticien ou un épidémiologiste était l’un des coauteurs.

Un article intéressant récemment paru est le suivant: http://www.nature.com/news/statistics-p-values-are-just-the-tip-of-the-iceberg-1.17412, qui traite de certaines des mêmes questions.

Eh bien, oui, les hypothèses importent - si elles ne comptaient pas du tout, nous n'aurions pas besoin de les formuler, n'est-ce pas?

La question est de savoir quelle importance ils revêtent (cela varie selon les procédures et les hypothèses et ce que vous voulez affirmer à propos de vos résultats (et aussi dans quelle mesure votre auditoire est tolérant, voire même inexact, dans de telles affirmations).

Donc, pour un exemple de situation dans laquelle une hypothèse est critique, considérons l'hypothèse de normalité dans un test F de variance; des modifications même modestes de la distribution peuvent avoir des effets assez dramatiques sur les propriétés (niveau de signification et puissance réels) de la procédure. Si vous prétendez effectuer un test au niveau de 5% alors qu'il est vraiment au niveau de 28%, vous faites en quelque sorte le même genre de mensonge sur la façon dont vous avez mené vos expériences. Si vous estimez que de tels problèmes statistiques ne sont pas importants, développez des arguments qui ne les utilisent pas. D'un autre côté, si vous souhaitez utiliser les informations statistiques comme support, vous ne pouvez pas vous tromper sur cette représentation.

Dans d'autres cas, certaines hypothèses peuvent être beaucoup moins critiques. Si vous estimez le coefficient dans une régression linéaire et que vous ne vous souciez pas de savoir s'il est statistiquement significatif et que vous ne vous souciez pas de l'efficacité, eh bien, peu importe si l'hypothèse d'homoscédasticité tient. Mais si vous voulez dire que c'est statistiquement significatif, ou montrer un intervalle de confiance, oui, cela peut certainement avoir de l'importance.

Glen_b a donné une excellente réponse , mais j'aimerais ajouter quelques centimes à cela.

Une des considérations est de savoir si vous voulez vraiment obtenir la vérité scientifique, ce qui nécessiterait de peaufiner vos résultats et de déterminer tous les détails pour savoir si votre approche est défendable, par opposition à la publication dans le «euh, personne ne vérifie de toute façon ces valeurs propres dans ma discipline». mode. En d'autres termes, vous devrez demander à votre conscience professionnelle intérieure si vous faites le meilleur travail possible. Faire référence à la faible culture statistique et aux pratiques statistiques laxistes dans votre discipline ne constitue pas un argument convaincant. Les réviseurs sont souvent au mieux utiles s'ils proviennent de la même discipline avec ces normes laxistes, bien que certains des principaux points de vente aient des initiatives explicites pour intégrer une expertise statistique dans le processus de révision.

Mais même si vous êtes un tricheur de salami cynique "publier-ou-périr", l'autre considération est fondamentalement la sécurité de votre réputation de recherche. Si votre modèle échoue et que vous ne le savez pas, vous vous exposez au risque de réfutation de la part de ceux qui peuvent venir et enfoncer la hache dans les maquettes des vérifications de modèle avec des instruments plus raffinés. Certes, cette possibilité semble être faible, car la communauté scientifique, malgré les exigences philosophiques nominales en matière de réputation et de reproductibilité, tente rarement de reproduire les recherches de quelqu'un d'autre. (J'ai été impliqué dans la rédaction de deux articles qui ont commencé par "Oh mon Dieu, ont-ils vraimentécrire that? ", et a proposé une critique et un raffinement d'une approche semi-statistique publiée et révisée par des pairs.) Cependant, les échecs des analyses statistiques, lorsqu'ils sont exposés , produisent souvent des éclaboussures importantes et désagréables.

La nature des violations des hypothèses peut constituer un indice important pour les recherches futures. Par exemple, une violation de l'hypothèse des dangers proportionnels dans l'analyse de la survie de Cox pourrait être due à une variable ayant un effet important sur la survie à court terme mais peu d'effet à long terme. C'est le type d'informations inattendues mais potentiellement importantes que vous pouvez obtenir en examinant la validité de vos hypothèses dans un test statistique.

Vous faites donc vous-même, et pas seulement la littérature, un mauvais service si vous ne testez pas les hypothèses sous-jacentes. À mesure que les revues de haute qualité commencent à nécessiter une révision statistique plus sophistiquée, vous serez appelé plus fréquemment à le faire. Vous ne voulez pas être dans une position où un test requis par un réviseur de statistiques sape ce que vous pensiez avoir été un élément clé de votre document.

Je vais répondre d'un point de vue intermédiaire. Je ne suis pas un statisticien, je suis un chimiste. Cependant, j'ai passé les 10 dernières années à me spécialiser en chimiométrie = analyse de données statistiques pour les données liées à la chimie.

Je crois simplement que les chercheurs ne font pas assez bien leurs statistiques.

C'est probablement le cas.

Version courte:

Parlons maintenant des hypothèses. IMHO, la situation ici est beaucoup trop hétérogène pour la traiter en une seule déclaration. Comprendre à la fois la raison pour laquelle l'hypothèse est nécessaire et la manière dont l'application est susceptible de la violer est nécessaire afin de déterminer si la violation est inoffensive ou critique. Et cela nécessite à la fois les statistiques et les connaissances de l'application.
En tant que pratiquant faisant face à des suppositions irréalisables, cependant, j'ai besoin de quelque chose d'autre: j'aimerais avoir une "deuxième ligne de défense" qui me permet par exemple de juger si la violation cause réellement des problèmes ou si elle est inoffensive.

Version longue:

• D'un point de vue pratique, certaines hypothèses typiques ne sont presque jamais satisfaites. Parfois, je peux formuler des hypothèses raisonnables sur les données, mais souvent, les problèmes deviennent si compliqués d'un point de vue statistique que les solutions ne sont pas encore connues. A présent, je pense que faire de la science signifie que vous allez frapper les frontières de ce que vous savez, probablement non seulement dans votre discipline, mais peut-être aussi dans d'autres disciplines (ici: statistiques appliquées).

• Il est également connu que certaines violations sont généralement inoffensives - par exemple, la normalité multivariée avec covariance égale pour LDA est nécessaire pour montrer que LDA est optimale, mais il est bien connu que la projection suit une heuristique qui fonctionne souvent même si le l'hypothèse n'est pas remplie. Et quelles violations sont susceptibles de causer des problèmes: Il est également connu que de lourdes queues dans la distribution entraînent des problèmes avec LDA dans la pratique.
  Malheureusement, une telle connaissance fait rarement partie de l'écriture condensée d'un article. Le lecteur n'a donc aucune idée si les auteurs ont choisi leur modèle après avoir bien examiné les propriétés de l'application ainsi que du modèle ou s'ils ont simplement choisi un modèle. ils sont venus à travers.

• Parfois, des approches pratiques (heuristiques) évoluent, qui s'avèrent très utiles d'un point de vue pratique, même s'il faut des décennies pour que leurs propriétés statistiques soient bien comprises (je pense à PLS).

• L'autre chose qui se produit (et devrait se produire davantage) est que les conséquences possibles de la violation peuvent être surveillées (mesurées), ce qui permet de décider s'il y a un problème ou non. Pour l’application, je ne me soucie peut-être pas de savoir si mon modèle est optimal tant qu’il est suffisamment bon.
  En chimiométrie, nous nous concentrons plutôt sur la prédiction. Et ceci offre une très bonne issue au cas où les hypothèses de modélisation ne seraient pas respectées: quelles que soient ces hypothèses, nous pouvons mesurer si le modèle fonctionne correctement. Du point de vue des praticiens, je dirais que vous êtes autorisé à faire ce que vous voulez pendant votre modélisation et à rapporter une validation honnête et à la pointe de la technologie.
  Pour l'analyse chimiométrique des données spectroscopiques, nous ne sommes pas attentifs aux résidus car nous savons que les modèles sont facilement sur-ajustés. Au lieu de cela, nous examinons les performances des données de test (et éventuellement la différence par rapport aux performances d'apprentissage des données d'apprentissage).

• Il existe d'autres situations dans lesquelles nous ne sommes pas en mesure de prédire avec précision le nombre de violations qui aboutissent à une rupture du modèle, mais nous sommes en mesure de mesurer les conséquences de violations graves de l'hypothèse plutôt directement.
  Exemple suivant: les données de l’étude que je traite habituellement sont des ordres de grandeur inférieurs à la taille de l’échantillon que les règles empiriques recommandent pour les cas par variable (afin de garantir des estimations stables). Mais les livres de statistiques ne se soucient généralement pas beaucoup de savoir quoi faire en pratique si cette hypothèse ne peut être satisfaite. Ni comment mesurer si vous êtes réellement en difficulté à cet égard. Mais: ces questions sont traitées dans les disciplines les plus appliquées. Il s’avère qu’il est souvent assez facile de mesurer directement la stabilité du modèle ou du moins de savoir si vos prévisions sont instables (à lire ici dans le CV sur la validation du ré-échantillonnage et la stabilité du modèle). Et il existe des moyens de stabiliser les modèles instables (par exemple, l'ensachage).

• En tant qu'exemple de "2e ligne de défense", envisagez la validation du rééchantillonnage. L’hypothèse habituelle et la plus solide est que tous les modèles de substitution sont équivalents à un modèle formé sur l’ensemble des données. Si cette hypothèse est violée, nous obtenons le biais pessimiste bien connu. La deuxième ligne est qu'au moins les modèles de substitution sont équivalents, nous pouvons donc mettre en commun les résultats du test.

Last but not least, je voudrais encourager les « scientifiques » des clients et les statisticiens de parler plus les uns aux autres . L'analyse de données statistiques IMHO n'est pas quelque chose qui peut être fait à sens unique. À un moment donné, chaque partie devra acquérir des connaissances de l'autre côté. J'aide parfois à "traduire" entre statisticiens, chimistes et biologistes. Un statisticien peut savoir que le modèle doit être régularisé. Mais pour choisir, par exemple, entre LASSO et une crête, ils doivent connaître les propriétés des données que seuls le chimiste, le physicien ou le biologiste peuvent connaître.

Étant donné que le CV est composé de statisticiens et de personnes qui sont curieuses, sinon compétentes, en matière de statistiques, je ne suis pas surprise de toutes les réponses qui soulignent la nécessité de comprendre les hypothèses. Je suis également d'accord avec ces réponses en principe.

Cependant, compte tenu de la pression exercée en faveur de la publication et du faible niveau actuel d'intégrité statistique, je dois dire que ces réponses sont assez naïves. Nous pouvons dire aux gens ce qu’ils doivent faire tout au long de la journée (c’est-à-dire vérifier votre hypothèse), mais ce qu’ils vont faire dépend uniquement des incitations institutionnelles. Le PO lui-même déclare qu'il parvient à publier 20 articles sans comprendre les hypothèses du modèle. Compte tenu de ma propre expérience, je ne trouve pas cela difficile à croire.

Ainsi, je veux me faire l'avocat du diable en répondant directement à la question de OP. Ce n'est en aucun cas une réponse qui favorise les "bonnes pratiques", mais c'est une réponse qui reflète la façon dont les choses sont pratiquées avec un soupçon de satire.

Vaut-il l'effort supplémentaire?

Non, si l'objectif est de publier, cela ne vaut pas la peine de passer tout le temps à comprendre le modèle. Il suffit de suivre le modèle répandu dans la littérature. De cette façon, 1) votre article passera plus facilement les critiques et 2) le risque d’être exposé à une "incompétence statistique" est faible, car vous exposer signifie exposer tout le domaine, y compris de nombreuses personnes âgées.

N'est-il pas probable que la majorité de tous les résultats publiés ne respectent pas ces hypothèses et ne les ont peut-être même pas évaluées? Il s’agit probablement d’un problème croissant, car les bases de données grossissent de jour en jour et il est admis que plus les données sont volumineuses, moins les hypothèses et les évaluations sont importantes.

Oui, il est probable que la plupart des résultats publiés ne sont pas vrais. Plus je suis impliqué dans la recherche réelle, plus je pense que cela est probable.

La réponse courte est non." Les méthodes statistiques ont été développées selon des ensembles d’hypothèses à respecter pour la validité des résultats. Il va donc de soi que si les hypothèses n'étaient pas remplies, les résultats pourraient ne pas être valables. Bien sûr, certaines estimations peuvent rester robustes malgré des violations des hypothèses du modèle. Par exemple, le logit multinomial semble bien fonctionner malgré les violations de l'hypothèse de l'IIA (voir la thèse de Kropko [2011] dans la référence ci-dessous).

En tant que scientifiques, nous avons l'obligation de nous assurer que les résultats que nous avons publiés sont valables, même si les personnes sur le terrain ne se soucient pas de savoir si les hypothèses ont été respectées. En effet, la science repose sur l’hypothèse voulant que les scientifiques agissent de la bonne manière dans leur quête des faits. Nous faisons confiance à nos collègues pour vérifier leur travail avant de l'envoyer aux journaux. Nous faisons confiance aux examinateurs pour examiner avec compétence un manuscrit avant qu’il ne soit publié. Nous assumonsque les chercheurs et les arbitres sachent ce qu’ils font, pour pouvoir faire confiance aux résultats des articles publiés dans des revues à comité de lecture. Nous savons que ce n’est pas toujours vrai dans le monde réel, à cause de la pléthore d’articles de la littérature dans lesquels vous finissez par secouer la tête et rouler des yeux devant les résultats bien choisis dans des revues respectables (" Jama a publié cet article ?! ").

Donc non, l'importance ne peut pas être surestimée, d'autant plus que les gens vous font confiance - l'expert - pour avoir fait preuve de diligence raisonnable. Le moins que vous puissiez faire est de parler de ces violations dans la section "limitations" de votre document pour aider les gens à interpréter la validité de vos résultats.

Référence

Kropko, J. 2011. De nouvelles approches de choix discret et série chronologique Cross-Section Méthodologie de la recherche politique (thèse de doctorat). UNC-Chapel Hill, Chapel Hill, Caroline du Nord.

Si vous avez besoin de statistiques très avancées, il est fort probable que vos données soient en désordre, ce qui est le cas de la plupart des sciences sociales, sans parler de la psychologie. Dans les domaines où vous avez de bonnes données, vous avez besoin de très peu de statistiques. La physique est un très bon exemple.

Considérons cette citation de Galilée sur sa célèbre expérience d’accélération gravitationnelle:

On a pris un morceau de bois moulé ou en morceaux d'environ 12 coudées de long, un demi-coudé de large et trois doigts de large; sur son bord était creusé un canal d'un peu plus d'un doigt de large; après avoir rendu cette gorge très droite, lisse et polie et l’ayant revêtue de parchemin aussi lisse et poli que possible, nous l’avons roulée en une boule de bronze dure, lisse et très ronde. Après avoir placé cette planche en pente, en soulevant une extrémité d’une ou deux coudées au-dessus de l’autre, nous avons fait rouler la balle, comme je viens de le dire, le long du canal, en notant, d’une manière qui sera décrite plus loin, le temps requis faire la descente. Nous avons répété cette expérience plusieurs fois afin de mesurer le temps avec une précision telle que l'écart entre deux observations ne dépasse jamais le dixième d'un battement de pouls. Après avoir effectué cette opération et s’être assuré de sa fiabilité, nous avons maintenant roulé la balle au quart de la longueur du canal; et après avoir mesuré le temps de sa descente, nous l’avons trouvé exactement la moitié de la première. Nous avons ensuite essayé d’autres distances, comparant le temps de toute la longueur à celui de la moitié, ou à celui des deux tiers, des trois quarts, voire d’une fraction quelconque; dans de telles expériences, répétées cent fois, nous avons toujours constaté que les espaces parcourus se ressemblaient comme des carrés du temps, et cela était vrai pour toutes les inclinaisons du plan, c'est-à-dire du canal, le long desquelles nous roulions Balle. Nous avons également observé que les temps de descente, pour diverses inclinaisons du plan, portaient précisément entre eux ce rapport qui, comme nous le verrons plus loin,

Pour la mesure du temps, nous avons utilisé un grand récipient rempli d’eau; au fond de ce navire, on a soudé un tuyau de petit diamètre donnant un mince jet d’eau que nous avons recueilli dans un petit verre pendant la durée de chaque descente, que ce soit pour toute la longueur du canal ou pour une partie de sa longueur; l'eau ainsi recueillie a été pesée après chaque descente sur une balance très précise; les différences et les ratios de ces poids nous ont donné les différences et les ratios des temps, et ceci avec une précision telle que, bien que l'opération ait été répétée maintes et maintes fois, il n'y avait pas d'écart appréciable dans les résultats .

Notez le texte mis en évidence par moi. C'est ce que de bonnes données sont. Cela vient d'une expérience bien planifiée basée sur une bonne théorie. Vous n'avez pas besoin de statistiques pour extraire ce qui vous intéresse. Il n'y avait pas de statistiques à cette époque, ni d'ordinateurs. Le résultat? Une relation assez fondamentale, qui tient toujours, et peut être testée à la maison par une 6ème niveleuse.

J'ai volé la citation de cette page géniale .

$\chi^2$

Cette question semble être un cas d'intégrité professionnelle.

Le problème semble être le suivant: (a) l’évaluation critique de l’analyse statistique par des profanes n’est pas suffisante ou (b) un cas de notoriété publique est insuffisant pour identifier une erreur statistique (comme une erreur de type 2)?

J'en connais assez sur mon domaine d'expertise pour solliciter la contribution d'experts lorsque je suis à la limite de cette expertise. J'ai vu des gens utiliser des choses comme le test F (et R-squared dans Excel) sans connaissances suffisantes.

D'après mon expérience, les systèmes éducatifs, soucieux de promouvoir les statistiques, ont simplifié à l'excès les outils et minimisé les risques / limites. Est-ce un thème commun que d'autres ont expérimenté et expliqueraient la situation?