C’est le constat fait par deux chercheurs et publié dans la revue ‘Royal society open science’ (21 septembre 2016) sous le titre ‘The natural selection of bad science’. En citation de cet article, il y a un tweet « J’ai participé à un grand nombre de comités de recherche, je ne me souviens pas de quelqu’un regardant les articles des candidats. Le nombre et le facteur d’impact des publications comptent seuls ». Par quelques discussions informelles, il me semble que c’est encore une situation qui existe dans certains comités en France en 2021 !
Cet article de 17 pages (95 références) est assez cruel car il part de l’argument que la plupart des mesures incitatives en science encouragent, récompensent et propagent les mauvaises méthodes et l’abus du pouvoir des statistiques. C’est ce que les auteurs appellent ‘La sélection naturelle de la mauvaise science’.
Cet article fourmille d’anecdotes et d’exemples inimaginables :
- La revue Journal of Personality and Social Psychology n’a pas accepté de publier un article n’ayant pas pu reproduire une recherche déjà publiée par cette revue !
- Les chercheurs publiant des résultats positifs ont des avantages par rapport aux chercheurs ayant des résultats dits négatifs !
Il y a une énorme meta-analyse et beaucoup d’équations…. Long article…. Je reprends un extrait du résumé : « We first present a 60-year meta-analysis of statistical power in the behavioural sciences and show that power has not improved despite repeated demonstrations of the necessity of increasing power. To demonstrate the logical consequences of structural incentives, we then present a dynamic model of scientific communities in which competing laboratories investigate novel or previously published hypotheses using culturally transmitted research methods. As in the real world, successful labs produce more ‘progeny,’ such that their methods are more often copied and their students are more likely to start labs of their own. Selection for high output leads to poorer methods and increasingly high false discovery rates. We additionally show that replication slows but does not stop the process of methodological deterioration. »
Ces mauvaises habitudes persistent malgré des appels nombreux pour améliorer les pratiques et les publications : il ne s’agit pas d’un simple malentendu ! Des mesures incitatives favorisent ces comportements, notamment l’avancement de carrière lié à un nombre de publications. Le changement devrait venir des institutions, car les chercheurs qui adoptent des pratiques intègres peuvent être pénalisés….
