Comment définissons-nous la «recherche reproductible»?

Cela a été soulevé dans quelques questions maintenant, et je me demandais quelque chose. Le champ dans son ensemble est-il passé à la "reproductibilité" en mettant l'accent sur la disponibilité des données d'origine et du code en question?

On m'a toujours appris que le cœur de la reproductibilité n'était pas nécessairement, comme je l'ai déjà dit, la possibilité de cliquer sur Exécuter et d'obtenir les mêmes résultats. L'approche données-codes semble supposer que les données sont correctes - qu'il n'y a pas de faille dans la collecte des données elles-mêmes (souvent manifestement fausse dans le cas d'une fraude scientifique). Il se concentre également sur un échantillon unique de la population cible, plutôt que sur la réplicabilité des résultats sur plusieurs échantillons indépendants.

Pourquoi met-on alors l’accent sur la possibilité de réexécuter l’analyse plutôt que de dupliquer l’étude à partir de la base?

L'article mentionné dans les commentaires ci-dessous est disponible ici .

"Recherche reproductible" comme analyse reproductible

La recherche reproductible est un terme utilisé dans certains domaines de recherche pour désigner spécifiquement des analyses telles que

• le code transforme les données brutes et les méta-données en données traitées,
• le code exécute des analyses sur les données, et
• Le code intègre des analyses dans un rapport.

Lorsque ces données et codes sont partagés, cela permet à d'autres chercheurs de:

• effectuer des analyses non rapportées par les chercheurs d'origine
• vérifier l'exactitude des analyses effectuées par les chercheurs d'origine

Cet usage est visible dans les discussions sur des technologies telles que Sweave . Par exemple, Friedrich Leisch écrit dans le contexte de Sweave que "le rapport peut être automatiquement mis à jour si les données ou les analyses changent, ce qui permet une recherche véritablement reproductible". La vue des tâches du CRAN sur la recherche reproductible indique également que "l'objectif de la recherche reproductible est de lier des instructions spécifiques à l'analyse de données et à des données expérimentales afin de permettre la reconstitution, la compréhension et la vérification des données scientifiques".

Utilisation plus large du terme "reproductibilité"

La reproductibilité est un objectif fondamental de la science. Ce n'est pas nouveau Les rapports de recherche comprennent des sections sur la méthode et les résultats, qui doivent décrire la manière dont les données ont été générées, traitées et analysées. En règle générale, les détails fournis doivent être suffisants pour permettre à un chercheur suffisamment compétent de prendre les informations fournies et de reproduire l’étude.

La reproductibilité est également étroitement liée aux concepts de réplicabilité et de généralisation.

Ainsi, le terme "recherche reproductible", pris littéralement, appliqué à des technologies telles que Sweave, est impropre, dans la mesure où il suggère une pertinence plus large qu'il ne le couvre. En outre, lorsqu’ils présentent des technologies telles que Sweave à des chercheurs qui n’ont pas utilisé de telles technologies, ces chercheurs sont souvent surpris lorsque j’appelle le processus «recherche reproductible».

Un meilleur terme que "recherche reproductible"

Étant donné que la "recherche reproductible" telle qu'elle est utilisée dans les contextes ressemblant à Sweave ne concerne qu'un aspect de la recherche reproductible, un terme alternatif devrait peut-être être adopté. Les alternatives possibles incluent:

• Analyse reproductible:
  • John D Cook a utilisé ce terme
  • Jennifer Blackford utilise le terme "analyses fiables et reproductibles"
• Analyse de données reproductible
  • Christophe Pouzat utilise ce terme
• Analyse statistique reproductible
  • Un site Biostats à Vanderbilt utilise le terme "analyse statistique reproductible et activités de reporting"
• Reporting reproductible

Tous les termes ci-dessus reflètent plus précisément ce que comportent des analyses analogues à celles de Sweave. L'analyse reproductible est courte et douce. L'ajout de "données" ou de "statistiques" clarifie davantage les choses, mais rend également le terme à la fois plus long et plus étroit. En outre, le terme "statistique" a un sens étroit et un sens large, et certainement dans le sens étroit, une grande partie du traitement de données n'est pas statistique. Ainsi, la portée implicite de l'expression "analyse reproductible" présente des avantages .

Il ne s'agit pas seulement de reproductibilité

L’autre problème supplémentaire lié à l’expression "recherche reproductible" est l’objectif des technologies analogues à Sweave n’est pas simplement la "reproductibilité". Il y a plusieurs objectifs interdépendants:

• Reproductibilité
  • Les analyses peuvent-elles être facilement réexécutées pour transformer les données brutes en rapport final avec les mêmes résultats?
• La justesse
  • L’analyse des données est-elle conforme aux intentions du chercheur?
  • Les intentions du chercheur sont-elles correctes?
• Ouverture
  • Transparence, responsabilité
    • Est-ce que d'autres personnes peuvent vérifier et vérifier l'exactitude des analyses effectuées?
  • Extensibilité, modifiable
    • D'autres personnes peuvent-elles modifier, étendre, réutiliser et mash, les données, les analyses ou les deux pour créer de nouveaux travaux de recherche?

Il existe un argument selon lequel une analyse reproductible devrait favoriser des analyses correctes, car il existe une trace écrite des analyses pouvant être vérifiées. De plus, si les données et le code sont partagés, cela crée une responsabilité qui motive les chercheurs à vérifier leurs analyses et permet aux autres chercheurs de noter les corrections.

L'analyse reproductible est également étroitement liée aux concepts de recherche ouverte. Bien entendu, un chercheur peut utiliser des technologies analogues à Sweave pour lui-même. Les principes de recherche ouverts encouragent le partage des données et du code d'analyse pour permettre une réutilisation et une responsabilisation accrues.

Ce n'est pas vraiment une critique de l'utilisation du mot "reproductible". Au contraire, il souligne simplement que l’utilisation de technologies analogues à Sweave est nécessaire mais pas suffisante pour atteindre des objectifs de recherche scientifique ouverts.

Avoir accès aux données et au code pour l'analyse sous une forme facile à exécuter est une condition sine qua non d'une recherche reproductible. Une fois que vous avez vérifié que l’analyse fonctionne, vous pouvez substituer votre propre code / données là où vous êtes sceptique par rapport à celui de l’auteur original. Je dirais que la majorité des documents contenant des statistiques que j'ai lus ont au moins une partie de la méthodologie laissée vague. Mes tentatives pour reproduire ces analyses échouent souvent (et prennent toujours beaucoup de temps), mais il est très difficile de dire si cela est dû à une fraude, à une erreur humaine ou (beaucoup plus probable) au fait que j'ai résolu ces ambiguïtés différemment de l'auteur. Donc, avoir data + code pour un article ne garantit pas que ses conclusions sont vraies, mais cela facilite beaucoup la critique ou l’extension de celles-ci.

En outre, la "recherche reproductible" est une question de degré. Ainsi, le mouvement de la recherche reproductible peut être considéré comme une recherche encourageante "plus reproductible" que la norme, plutôt que d'exiger que la recherche atteigne un seuil minimum. J'imagine que la «publication des données et du code» est à la mode parce que c'est une étape relativement facile et non menaçante.

Pouvoir tout refaire est un point de départ pour une recherche reproductible. Cela permet de montrer que vous utilisez réellement la même procédure. Après cela, et seulement après, vous pourrez poursuivre les recherches de votre pair. En d'autres termes, la reproductibilité stricte ne doit pas être perçue comme un moment propice à la recherche, mais comme un repère, un consensus , une chose sur laquelle les gens sont d'accord. N'est-ce pas fondamental d'aller plus loin?

En outre, selon la discussion de Donoho (lire la section 2 "Le scandale"), l'objectif de la recherche reproductible est également de tester la robustesse du code donné. D'abord en jouant avec le code, en apportant des modifications légères qui n'étaient pas faites dans le document (car nous ne voulons pas de documents avec 30 chiffres ...). Je pense que le concept de recherche reproductible dans la littérature contient l'idée d'avoir un repère fort et robuste. Cela contient presque l'idée d'aller plus loin.