Quelles sont les lignes directrices pour mener des expériences de calcul?

La physique, la biologie, la chimie, etc. ont différents ensembles de règles pour faire des expériences: quels événements sont considérés comme pertinents, comment éviter la contamination des échantillons, comment créer et corriger un processus de reproduction, etc.

Quelles sont les normes, protocoles et meilleures pratiques pour garantir la précision et la reproductibilité des expériences numériques?

benchmarking reproducibility experiment

— homocomputeris
source

Je n'ai jamais rencontré un ensemble de règles de bonnes pratiques, mais sur la base de l'utilisation de ce qui est publié, je dirais que même pour la reproductibilité uniquement, il existe des problèmes majeurs dans la pratique actuelle: les résultats peuvent être influencés par la plate-forme matérielle, le système d'exploitation (et version), compilateur (et version), commutateurs de compilation et paramètres de configuration d'application. Je trouve rarement cela documenté avec suffisamment de détails.

— njuffa

Beaucoup a été écrit sur la façon de concevoir, d'exécuter et de rendre compte des résultats d'expériences de calcul. Cela a des liens évidents avec les logiciels open source et le mouvement plus large de la "science ouverte". Un autre problème important est la différence entre la recherche «mon code est plus rapide que la vôtre» et la recherche qui nous aide à mieux comprendre les propriétés des algorithmes.

Voici quelques références sur les expériences de calcul et les tests que vous voudrez peut-être consulter:

Coffin, Marie et Matthew J. Saltzman. 2000. « Analyse statistique des tests de calcul d'algorithmes et d'heuristique ». INFORMS Journal on Computing 12 (1): 24–44.

Crowder, Harlan, Ron S. Dembo et John M. Mulvey. 1979. « Sur le rapport d'expériences informatiques avec des logiciels mathématiques ». ACM Transactions on Mathematical Software (TOMS) 5 (2): 193–203.

Feitelson, Dror G. 2006. « Informatique expérimentale: la nécessité d'un changement culturel ».

Hooker, John N. 1995. « Tester l'heuristique: nous avons tout faux ». Journal of Heuristics 1 (1): 33–42.

McGeoch, Catherine C. 2012. Un guide d'algorithmique expérimentale. La presse de l'Universite de Cambridge.

— Brian Borchers
source

Je ferais également référence à des outils comme Sumatra ( pypi.org/project/Sumatra ) qui visent à fournir des outils de suivi des expériences de calcul pour soutenir la recherche reproductible. Voir aussi ici datascience.stackexchange.com/questions/758

— GertVdE