Question ancienne peu évaluée…mais beau travail avec un article fabriqué qui a été soumis à des reviewers.. En fait, 2 versions d'un même essai randomisé inventé ont été soumises à 238 reviewers de 2 journaux : The journal of bone and joint surgery, Clinical orthopaedics and related research. 210 reviewers ont évalué ces 2 deux articles presque identiques sauf que le critère de jugement principal avait un résultat positif dans un article, et un résultat négatif dans l'autre… 107 des 110 reviewers ayant lu l'article dit 'positif' ont recommandé la publication, 80 des 100 reviewers ayant lu l'article dit 'négatif' ont recommandé la publication… Odds ration de 8,92 (95 % IC 2,56-31,05). C'est une publication des Archives of Internal Medicine fin novembre 2010. Belle étude, avec de bonnes références sur le thème… Les 2 articles inventés sont consultables mais je n'arrive pas à les télécharger… Donc un bias pour accepter les résultats positifs existe..
Ceci me rappelle un article de 1982, quand Peters & Ceci avaient resoumis à 12 journaux différents des articles déjà publiés par ces mêmes journaux……..3 journaux avaient découvert que ces articles avaient été publiés, et sur les 9 articles ensuite évalués, 8 avaient été rejettés…. Regardez le résumé de ce travail pour lesquels les auteurs avaient été accusés de ne pas respecter l'éthique….
PS : correction d'une erreur à postériori grâce à la perspicacité d'un lecteur que je remercie (voir commentaires)
Emerson GB, et al. Testing for the presence of positive-outcome bias in peer review. Archives of internal medicine 2010;170(21):1934-1939.
2 commentaires
Hum, d’après l’Abstract les taux d’acceptation sont plutôt de 97% pour la version positive, et de 80% pour la version neutre…ça fait tout de même 17% de différence mais ça semble mois que ce que vous présentez dans votre texte (80% de refus pour la version neutre…)
Quant au travail de 1982, il serait intéressant de le refaire aujourd’hui… je pense (et espère) qu’à l’heure de Pubmed et d’Internet ça ne serait plus du tout possible !
Merci encore pour votre blog passionnant.
Un très grand merci pour votre perspicacité : vous avez très bien lu et je me suis trompé ! Horreur, et je vais corriger à posteriori (ce que je ne fais pas en général). Merci pour vos encouragements.
Effectivement, si le travail de Peters & Ceci était refait en 2010, les logiciels verraient les redondances…