J'ai encore dans un dossier la copie d'un article de 1982. Cette copie faisait 70 pages car des commentaires et controverses avaient été publiés après l'article de Peters & Ceci. Ensuite, Peters & Ceci ont eu un droit de réponse de 8 pages ! Cet article a été très cité et reste un modèle du genre, bien que ce type d'étude ne soit plus possible. Je viens de voir que l'article avait été numérisé en 2010, et qu'il est accessible sur le net : super. Cet article a été publié dans BBS, soit Behavioral and Brain Sciences, volume 5 en juin 1982 avec le titre : Peer-review practices of psychological journals: The fate of published articles, submitted again
Cet article a fait polémique, en particulier pour dire que c'était une recherche non éthique ! Ce travail a été fait bien avant les nouvelles technologies, et les articles étaient sous format papier, sans format électronique.. En relisant l'article, il y a des expressions qui ont disparu comme "We Xeroxed copies… " (page 190, en haut, 3ème ligne). Relire 70 pages en détail n'est pas possible, mais vous aurez envie de consulter les controverses après lecture d'extraits du résumé que j'ai traduits et adaptés :
Nous avons étudié le processus d'évaluation par les pairs, dans le cadre naturel de l'évaluation des manuscrits soumis à des revues. Comme matériel de test, nous avons sélectionné 12 articles de recherche déjà publiés par des chercheurs de départements de psychologie américains prestigieux et hautement productifs, un article de chacune des 12 revues de psychologie américaines hautement considérées et largement lues, avec des taux de rejet élevés (80 %) et des pratiques de peer review non aveugle.
Avec des noms fictifs et des institutions remplaçant les noms originaux (p. ex., Tri-Valley Center for Human Potential), les manuscrits modifiés ont été officiellement soumis de nouveau aux revues qui les avaient initialement examinés et publiés de 18 à 32 mois plus tôt. Sur l'échantillon de 38 rédacteurs et relecteurs, seulement trois (8 %) ont détecté les nouvelles soumissions. Ce résultat a permis à 9 des 12 articles de continuer le processus de révision par les pairs pour recevoir une évaluation : 8 des 9 articles ont été rejetés ; 16 des 18 relecteurs (89 %) se sont prononcés contre la publication et les rédacteurs en chef ont donné leur accord. Dans de nombreux cas, les motifs de rejet ont été qualifiés de "défauts méthodologiques graves". Un certain nombre d'interprétations possibles de ces données sont examinées et évaluées.
La discussion de l'article est intéressante : est-ce que les relecteurs initiaux étaient moins bons que les relecteurs lors de l'étude de Peters & Ceci ? Est-ce que le statut et la notoriété des auteurs initiaux avaient favorisé l'acceptation ? Peters & Ceci auraient aimé re-soumettre des articles refusés en changeant les noms des auteurs et institutions (en mettant des adresses très prestigieuses). Peters & Ceci ont cherché les évaluations initiales, mais les revues ne les ont pas communiquées. Le peer review ouvert, totalement transparent n'était pas accepté. IParmi leurs suggestions, ils ont proposé que les revues évaluent les avis de relectures des reviewers… ce qui n'est pas en 2018 une pratique systématique pour la plupart des revues.
Cet article a été beaucoup cité, et BBS liste 475 citations (au temps de l'électronique) sans compter toutes les citations du vieux temps… Le message n'a pas plu : des articles publiés pouvaient ultérieurement être rejetés s'ils étaient soumis aux mêmes revues, 18 à 32 mois après la publication initiale ! Donc les rédacteurs et relecteurs n'ont pas détecté que ces articles avaient été publiés… et surtout les ont réfusés alors qu'ils étaient publiés ! Que se passerait-il en 2018 si ce type de recherche était possible ? Il faudrait déjà soumettre un protocole à un comité d'éthique !!!
L'article est complété par des avis d'experts et l'on apprend que BBS l'a publié malgré le petit échantillon, après des rejets de Science puis de American Psychologist. Beaucoup de positions en faveur ou contre le peer review, et parfois des signataires éminents (Lois deBakey, Rosalyn S Yalow, DF Horrobin…) suivi par une réponse de 8 pages des auteurs…. Dans les années 80s, les revues travaillaient différemment par rapport à nos pratiques. Les références des 12 articles déjà publiés et re-soumis ne sont pas citées ; la date du travail (1980 probablement) n'est pas précisée. Je ne crois pas que ce type de recherche ait été refaite à l'identique !
Le premier congrès sur le peer review s'est tenu en septembre 1989 à Chicago. En 1980, les recherches sur le peer review étaient difficiles.
