Bon article de PNAS de novembre 2017 intitulé "Reviewer bias in single- versus double-blind peer review". 
C'est une bonne étude faite sur un échantillonnage particulier : la sélection des présentations acceptées à une conférence internationale sur la recherche internet et le data mining. Dans cette discipline, il est plus important d'être accepté à une conférence que de publier. Le taux d'acceptation de cette conférence est faible ; 15,6 %, donc comparable au taux de sélection des articles par les revues prestigieuses.
L'étude a consisté à comparer deux méthodes de peer-review : le single-blind (le reviewer a le nom de l'auteur, et l'auteur ne connait pas le nom du reviewer) et le double-blind (le reviewer n'a pas le nom de l'auteur, et l'auteur ne connait pas le nom du reviewer). Tous a été bien fait, avec quatre lectures ont été faites pour chaque soumission, à savoir deux single-blind et deux double-blind°. L'idée de cette étude est venue des responsables du comité scientifique qui voulaient s'assurer que le single-blind était la bonne méthode, car utilisée par ce congrès.
Ce sont 500 articles qui ont été évalués, 453 ont été reviewés 4 fois, et 47 3 fois. Il y a eu 119 reviewers dans chaque groupe. L'article est complexe et beaucoup de variables ont été analysées, mais le résultat principal est simple :
Trois différences significatives ont été observées entre ces deux méthodes de reviewing :
-
Premièrement, nous avons constaté que les reviewers 'single blind' étaient moins prolifiques, avec environ 22 % d'acceptations en moins en moyenne.
-
Deuxièmement, les reviewers 'single blind' sélectionnaient de préférence des articles provenant d'universités et d'entreprises de premier plan, comparativement à leurs homologues 'double-blind'.
-
Troisièmement, les reviewers 'single blind' étaient relativement plus susceptibles de soumettre une évaluation positive pour les articles d'un auteur célèbre et pour les articles d'une université de premier plan ou d'une entreprise de premier plan.
Est-ce acceptable ?
Une lettre de fin février 2018 exprime des résultats montrant qu'auteurs et reviewers dans le domaine de la radiothérapie préfère le double-aveugle.
