C’est un bon rapport, très détaillé en 219 pages que j’ai survolées. J’ai lu en détail l’executive summary, le résumé, et les recommandations (20 pages). Les deux termes anglais sont reproductibility et reproducibiliy…. qui peuvent être traduits tous deux par reproductibilité. Une définition de la science est proposée (page 21), je la laisse en anglais : « Science is a mode of inquiry that aims to pose questions about the world, arriving at the answers and assessing their degree of certainty through a communal effort designed to ensure that they are well grounded« .
J’ai choisi de traduire le titre du rapport par reproductibilité et réplicabilité en science. Les définitions sont :
La reproductibilité consiste à obtenir des résultats cohérents en utilisant les mêmes données d’entrée, étapes de calcul, méthodes, codes et conditions d’analyse. Cette définition est synonyme de « reproductibilité informatique », et les termes sont utilisés de façon interchangeable dans le présent rapport.
La réplicabilité consiste à obtenir des résultats cohérents dans toutes les études visant à répondre à la même question scientifique, chacune ayant obtenu ses propres données. Deux études peuvent être considérées comme ayant été reproduites si elles obtiennent des résultats cohérents compte tenu du niveau d’incertitude inhérent au système à l’étude.
Le troisième concept discuté est la généralisation des résultats. Beaucoup de recommandations sur les méthodes de recherche, y compris les problématiques liées à la mauvaise connaissance et mauvaise utilisation des statistiques.
La lecture est un plaisir car le rapport avec 7 chapitres est bien fait, dont un chapitre avec des propositions d’amélioration. Pour la non-reproductibilité et la non -réplicabilité, des hypothèses sont proposées en différenciant celles qui sont dues à de mauvaises pratiques, et celles inexpliquées. En page 175 et suivantes, les recommandations sont groupées selon les parties prenantes, et je détaillerai les recommandations pour les revues dans le billet de demain. Les parties prenantes sont :
- Scientists and researchers
- The National Science Foundation
- Other funders
- Journals and conference organizers
- Educational institutions
- Professional societies
- Journalists
- Members of the public and policy makers
