C’est le constat fait par deux chercheurs (américain et allemand) et publié dans la revue ‘Royal society open science’ sous le titre ‘The natural selection of bad science’ le 26 septembre 2016. En citation de cet article, il y a un tweet :
« J’ai participé à un grand nombre de comités de recherche, je ne me souviens pas de quelqu’un regardant les articles des candidats.
Le nombre et le facteur d’impact des publications comptent seuls ».
Il me semble que c’est encore une situation qui existe dans certains comités en France !
Cet article est assez cruel car il part de l’argument que la plupart des mesures incitatives en science encouragent, récompensent et propagent les mauvaises méthodes et l’abus du pouvoir des statistiques. C’est ce que les auteurs appellent ‘La sélection naturelle de la mauvaise science’.
L'intro commence ainsi : "In March 2016, the American Statistical Association published a set of corrective guidelines about the use and misuse of p-values [2]. Statisticians have been publishing guidelines of this kind for decades [3,4]. Beyond mere significance testing, research design in general has a history of shortcomings and repeated corrective guidelines. Yet misuse of statistical procedures and poor methods has persisted and possibly grown. In fields such as psychology, neuroscience and medicine, practices that increase false discoveries remain not only common, but normative [5–11].". J'ai évoqué ces recos de l'American Statistical Association.
Cet article de 17 pages et 95 références fourmille d’anecdotes et d’exemples inimaginables :
- Une partie du problème est que nous n'avons aucun incitatif pour bien faire en sciences ! C'était une des conclusions d'un symposium sur la reproductibilité en Angleterre : de mauvaises méthodes donnent des résultats !
- La revue Journal of Personality and Social Psychology n’a pas accepté de publier des recherches négatives n’ayant pas pu reproduire une recherche positive déjà publiée par cette revue !
- Les chercheurs publiant des résultats positifs sont souvent avantagés par rapport aux chercheurs ayant des résultats dits négatifs !
Il y a une énorme meta-analyse et beaucoup d'équations…. Long article…. Je reprends un extrait du résumé : "We first present a 60-year meta-analysis of statistical power in the behavioural sciences and show that power has not improved despite repeated demonstrations of the necessity of increasing power. To demonstrate the logical consequences of structural incentives, we then present a dynamic model of scientific communities in which competing laboratories investigate novel or previously published hypotheses using culturally transmitted research methods. As in the real world, successful labs produce more ‘progeny,’ such that their methods are more often copied and their students are more likely to start labs of their own. Selection for high output leads to poorer methods and increasingly high false discovery rates. We additionally show that replication slows but does not stop the process of methodological deterioration."
Ces mauvaises habitudes persistent malgré des appels nombreux pour améliorer les pratiques et les publications : il ne s’agit pas d’un simple malentendu ! Des mesures incitatives favorisent ces comportements, notamment l’avancement de carrière lié à un nombre de publications. Le changement devrait venir des institutions, car les chercheurs qui adoptent des pratiques intègres peuvent être pénalisés….
