C’est un bel article de Nature le 8 mai 2024 présentant de nouvelles suggestions pour publier les résultats négatifs en recherche. L’article est bien fait, mérite lecture, mais il oublie de dire que sans changer le système, la culture du Publish or 
Perish, rien ne bougera.
Encore un journal pour publier des résultats négatifs : JOTE
Sans les citer, ce type de journaux existe et n’a jamais rencontré de succès. Ce sont des journaux qui végètent. Dans cet article, nous avons la présentation d’une revue diamant qui existe depuis 2020 : Journal Of Trial and Error ou JOTE. Il y a un blog. Tout semble intéressant, mais…
The file-drawer problem
C’est le jargon pour désigner ce problème car dans tous les labos, il y a beaucoup de manuscrits inachevés jamais soumis… Ce phénomène est décrit depuis 1979… et un peu d’histoire nous est contée. Dans cet article, ne sont pas rapportées toutes les discussions dans les Peer-Review Congresses à Chicago… Je me souviens de 2013 où il avait été montré que c’était un problème de chercheurs ne soumettant pas les manuscrits, et non pas de revues refusant ces manuscrits. Des données probantes avaient été montrées.
L’article est intéressant… et si des résultats négatifs pourront être mieux diffusés avec des plateformes dédiées, je pense que c’est possible dans certains domaines mais pas en biomédecine. Que des physiciens, des chimistes, des spécialistes de computers puissent partager des résultats négatifs, je suis d’accord.
L’article insiste sur les Registered Reports, modèle très vertueux et génial… mais après 10 ans, peu d’avancées fortes… Environ 300 journaux acceptent les RRs… sur combien (35 000 d’après STM).
L’article se termine ainsi : There are some positive signs of change about sharing negative data: “Early-career researchers and the next generation of scientists are particularly receptive to the idea,” says Alcantara. Gaillard is also optimistic, given the increased interest in his journal, including submissions for an upcoming special issue on mistakes in the medical domain. “It is slow, of course, but science is a bit slow.”
Et il y a 3 commentaires sur PubPeer.
2 commentaires
Au risque de passer pour un vieux radoteur (que je suis), je dirai que le défaut de cet article est qu’il ne distingue pas clairement parmi les « résultats négatifs » ceux qui relèvent de l’inconsistance et ceux qui relèvent de la réfutation. Les deux sont intéressants pour des raisons bien différentes.
Les résultats inconsistants intéressent les méthodologistes. Ils illustrent les défauts soit dans la conception d’une étude, soit dans sa réalisation ; la plus courante des fautes est un manque de puissance, mais les autres erreurs flagrantes de méthode expérimentale sont innombrables. De ces travaux stériles, on ne peut rien tirer d’autre que des leçons pour la pratique de la recherche – leçons dont le coût est malheureusement gigantesque. Bien entendu, personne n’est vraiment enclin à faire état de ces manquements à la qualité de leur travail qui gâchent les ressources de la science.
Les réfutations d’hypothèses sont une tout autre chose. Ce sont au contraire les seuls résultats de la recherche dont on retire un savoir sûr et utile. Ce qu’on appelle des « confirmations » d’une conjecture ne sont jamais qu’une validation inférentielle de sa crédibilité. Toutefois, les conjectures sont trop souvent de simples espoirs des bénéfices à tirer d’une preuve de clairvoyance ou d’un débouché commercial. On comprend que leurs auteurs répugnent à rendre publique leur déception quand le résultat qu’ils attendaient est rigoureusement contredit.
Ces travers sont épistémologiquement trop graves et socialement trop répandus pour qu’on n’y voie qu’une anomalie éditoriale à corriger. Ils témoignent en effet d’un fonctionnement vicié, profondément ancré dans les activités scientifiques.
Je rejoins tout à fait ces commentaires. Nous ne disposons pas de bonnes recherches sur ce domaine. J’ai quelques billets un peu décousus. https://www.redactionmedicale.fr/?s=n%C3%A9gatifs … Seul le développement du médicament, quand il y a obligation de déclarer un protocole à une agence, permet de bonnes études. Mais ce n’est pas généralisable aux autres domaines de recherche…. etc…
Connaissez-vous une vraie revue de littérature exhaustive et de qualité sur cette question. Il doit en exister en fouillant les peer-review congress… mais encore, c’est un aspect de la science
Amicalement,