La Hollande a encore le souvenir du scandale D Stapel qui a fait progresser les mentalités. L’Académie des sciences basée à Amsterdam vient de publier un rapport attendu sur la reproductibilité des résultats de recherche. Je ne prends pas le risque de la nommer en Hollandais.. Ce rapport peut vous servir si vous devez préparer un exposé sur le sujet. Il contient les bonnes références, car il est connu qu’il est difficile (impossible ?) de reproduire les publications. Un niveau de non-reproductibilité est inhérent à la science, mais quand de 50 à 80 % des publications ne sont pas reproductibles, c’est beaucoup.
Rapport publié le 18 janvier avec les titre « Replication studies : Improving Reproducibility in the Empirical Sciences« . Il fait 66 pages, en anglais, facile à lire, et à télécharger. Rien de surprenant : partager vos données, transparence et aider ceux qui reproduisent des données.. Le rapport anglais des 2015 allait plus loin en décrivant 6 problèmes et proposant 7 stratégies. Nus avons discuté les manifestes pour une meilleure reproductibilité.
Voici quelques une des recommandations :
La première étape vers l’amélioration de la reproductibilité est que les disciplines empiriques évaluent le degré de non reproductibilité dans leur domaine et ses causes sous-jacentes. L’Académie est d’avis que l’amélioration de la reproductibilité, qui s’avère être insatisfaisante, est extrêmement importante. L’Académie recommande donc que les chercheurs devraient adopter les mesures suivantes :
Améliorer les méthodes d’étude. Les chercheurs devraient mener leurs recherches de manière plus rigoureuse en renforçant la standardisation, le contrôle de la qualité, les lignes directrices et les checklists fondées sur des données probantes, les études de validation et les reproductions internes. Les établissements devraient offrir aux chercheurs une formation et un soutien accrus pour la conception rigoureuse des études, des pratiques de recherche qui améliorent la reproductibilité, ainsi qu’une analyse et une interprétation appropriées des résultats des études.
Améliorer les rapports d’étude. Les organismes de financement et les revues devraient exiger le pré-enregistrement des études de vérification d’hypothèses. Les revues devraient publier des lignes directrices et des checklists détaillées fondées sur des données probantes pour publier les études et veiller à ce qu’elles soient respectées. Les revues et les organismes de financement devraient exiger le stockage des données et des méthodes d’étude dans des registres accessibles.
Créer des incitations appropriées. Les revues devraient être plus ouvertes à la publication d’études dont les résultats sont négatifs et inciter les chercheurs à rendre compte de ces résultats. Plutôt que de récompenser les chercheurs principalement pour des publications « à fort impact », des études « innovantes » et des déclarations exagérées, les institutions, les organismes de financement et les revues spécialisées devraient également leur offrir des incitations à mener des études rigoureuses et à produire des résultats de recherche reproductibles.
D’autres recommandations sur le partage des données, la meilleure formation des chercheurs et surtout des incitations pour faire et publier des études reproduisant des résultats publiés.
Ce rapport a le mérite d’exister, et il est bien fait… mais il ne va pas assez loin. Demander aux revues et aux financeurs de faire des efforts est louables, mais j’ai peur qu’ils ne soient pas très moteurs. En ce sens DORA est plus pratique et met en évidence une culture à changer.
Un commentaire
Un article, qui m’a été envoyé hier par un journaliste à Science, discute de ce rapport:
http://www.sciencemag.org/news/2018/01/make-replication-studies-normal-and-essential-part-science-dutch-science-academy-says