J'entends toujours fréquemment des collègues soutenir en public l'idée que les revues scientifiques ne publient que des études positives, c'est à dire des études montrant un résultat 'statistiquement significatif'.
C'est en 2013 que j'ai observé les premières données présentées par un vieil ami hollandais lors d'un congrès du peer review à Chicago. 
Les résultats ont ensuite été publiés dans PLOS One en août 2014. Qu'ont-ils fait ? Ils ont considéré tous les manuscrits soumis entre janvier 2010 et avril 2012 à 8 revues anglaises (BMJ, Annals of Rheumatic Diseases, British Journal of Ophtalmology, Gut, Heart, Thorax, Diabetologia, Journal of Hepatology). Parmi les 15 972 manuscrits soumis, 472 (3,0 %) étaient des essais contrôlés randomisés (ECR) et 98 (20,8 %) ont été publiés.
Parmi les 472 soumis, 287 (60,8 %) étaient qualifiés de positifs, et 185 (39,2 %) de négatifs.
Parmi les 98 publiés, 60 (20,9 %) étaient qualifiés de positifs, et 38 (20,5 %) de négatifs.
Il y a les données par revue, montrant quelques variations, dont le BMJ ayant publié un peu plus de négatifs !
Donc l'hypothèse est que s'il existe un biais de publication, il est plutôt lié au fait que les auteurs ne soumettent pas les essais dits négatifs. Lors de ce même congrès du peer review, une présentation complémentaire analysant les raisons pour lesquelles des présentations de congrès ne donnent jamais lieu à publication. Ce travail a été publié en février 2015 dans JCE. Il montre que les raisons pour lesquelles les chercheurs ne soumettent pas certains travaux sont : pas de temps, manque de ressources, pas d'objectif de publier, pas prioritaire, étude incomplète, conflits d'auteurs….
Les études négatives deviennent plus fréquentes, par exemple 3 dans un même numéro de JAMA Pediatrics, une bonne étude française négative dans JAMA, etc.. Mais n'allez pas chercher des études négatives dans le NEJM, bras armé de l'industrie !!! Le meilleur modèle est probablement le 'Registered Reports'.
Un commentaire
Attention : les études « négatives » ne sont intéressantes que si elles démontrent quelque chose de « positif », par exemple la démonstration (très probable, avec des critères statistiques stringents) d’une absence de bénéfice.
Malheureusement, ce qu’on appelle une étude « négative » n’est souvent (comme déjà exprimé ici) qu’une étude « stérile », c’est à dire sans signification en raison de biais ou de puissance inadéquate.
Ces dernières études sont du temps perdu et des moyens dilapidés, et leur publication ne fait que rajouter au gâchis.