Nous avons l’habitude de dire que les études négatives ne sont pas publiées, mais nous n’avons pas beaucoup de données factuelles pour le dire. Cet article publié le 28 août 2014 dans Sciencexpress apporte des données utiles car la traçabilité de leur recherche est bonne.
Il s’agit de sciences sociales aux USA, et les auteurs appartiennent à des départements de sciences politiques et à une école de commerce à Standford, USA. Le travail est solide car ils ont analysé entre 2002 et 2012 les publications des données d’enquêtes faites sur des échantillons représentatifs d’américains. Ces enquêtes avaient des protocoles rigoureux et bien reviewés avant allocation de ressources (programmes TESS).
Ils ont inclus 249 projets, mais l’analyse porte sur 221 (pas toujours clair dans l’article, car je crois que c’est 228..). Que montrent-ils, avec des tableaux de données précises ? Ce que l’on attendait, à savoir que les études dites négatives ont été non seulement moins publiées, mais aussi moins écrites (aucun article écrit pour 64 % des 49 études dites à résultats ‘nuls’)… Les études dites à résultats ‘nuls’ ont été publiées dans 20,8 % des cas, alors que les études avec des résultats dits ‘forts’ ont été publiées dans 61,6 % des cas… ce qui d’ailleurs est insuffisant… une différence de 40 % est importante.
Cette étude est à garder comme preuve de nos affirmations. Les auteurs pensent que la situation est pire car leur échantillon comprenait 249 études bien identifiées, suivies, archivées, etc… alors que dans la réalité, nombreux doivent être les chercheurs qui ne communiquent pas sur des études dites négatives : elles passent inaperçues pour tout le monde. L’article est intéressant, mais difficile à lire par son style, sans plan de type IMRAD (ce sont des auteurs de sciences sociales !!). Néanmoins la liste des 42 références contient les meilleurs articles sur les biais de publication, et la plupart sont antérieurs à 2010… voire des années 1990.
On peut aisément imaginer que cette étude donnerait des résultats similaires voire pire dans d’autres disciplines !
Franco A, et al. Publication bias in the social sciences. Unlocking the file drawer. Sciencexpress; 28 August 2014 / page 1 / 10.1126/science.1255484