Il est intéressant de noter que des disciplines, devant la crise de reproductibilité, remettent en cause leurs méthodes de publication. La reproductibilité (ou plutôt la non-reproductibilité) a été très étudiée dans certains domaines, comme les sciences cognitives/neurosciences/psychologie, puis la biologie. Des disciplines comme la finance comprennent qu'un protocole est un préalable à toute expérimentation, ou que la réplication des données est nécessaire avant de publier.
Un billet de février 2018 sur Inside Higher ED, avec le titre 'Publication by design', nous apprend que le Journal for Accounting Research (facteur d'impact de 3,0, et un chèque de 500 § pour toute soumission d'article….) va tester le modèle Registered Reports, et que AJPS (American Journal of Political Science avec un facteur d'impact de 5,044) a une politique de réplication et vérification des données !
Registered Reports est un vaccin contre les biais : une acceptation provisoire est décidée par un peer-review basé sur l'introduction et les méthodes de l'article… plus tard, l'article est soumis avec les résultats et la discussion et, sauf problèmes, est accepté quels que soient les résultats. JAR a signé un éditorial (accès payant, bravo pour l'ouverture) en remerciant Si dans le domaine biomédical, enregistrer un protocole est presque compris, il n'en est rien dans d'autres disciplines qui sont soumises encore plus au P-hacking, aux données omises, et autres manipulations pour embellir les données.
Le Journal of Accounting Research oppose le TEP (Traditional Editorial Process) au REP (Registration-based Editorial Process) et ils l'ont testé pour les communications soumises à un congrès : sur 71 propositions (protocoles), huit ont reçu la certitude que les résultats seront publiés dans la revue… Un confort pour les auteurs qui n'ont plus besoin d'embellir les résultats pour plaire. Tout ceci est détaillé dans un bon manuscrit accepté (57 pages word !) intitulé "No System is Perfect: Understanding how Registration-Based Editorial Processes Affect Reproducibility and Investment in Research Quality". Une autre revue suit le mouvement, The review of Financial Studies (facteur d'impact de 3,689, et un APC de 2 275 € pour avoir son article en accès libre). Cette revue prévoit un numéro spécial sur la finance dans le domaine de la climatologie pour 2019 selon le modèle Registered Reports !
L'AJPS a une politique intéressante intitulée "AJPS Replication and Verification Policy". En bref, lors de la soumission, les auteurs doivent fournir la preuve que leur travail peut être répliqué ! Exigeant, mais utile. Les données de réplication doivent être déposées sur des registres dédiés et accessibles (liens dans les articles). Un document de 10 pages explique comment préparer les données de réplication !
Tout ceci est intéressant et montre l'ouverture progressive de tous les domaines de la science. J'ai une pratique minime de ces revues lors de mon MBA et j'ai aussi analysé des cas de plagiats dans ces domaines ! C'est intéressant de regarder comment sont écrits ces articles; Dans ce domaine, les comités de rédaction vont vers l'ouverture et la réplication, mais ils partent en retard.