Excellent ouvrage (mai 2017) de Chris Chambers, professeur de neurosciences cognitives à Cardiff. Le titre : The 7 deadly sins of psychology. A manifesto for reforming the culture of science practice. Je reprend chaque vendredi un des 7 péchés, et ensuite le rachat sera proposé dans le dernier chapitre.
Le chapitre 3 : « The sin of unreliability« . Le péché du manque de fiabilité. Les raisons sont discutées ainsi :
1) Le mépris pour la réplication directe des données : il s’agirait de refaire les expériences avant de les publier, mais cette pratique n’est pas toujours suivie ; en psychologie, le Center for Open Science a essayé de reproduire 100 articles : ce sont 39 % des expériences qui ont été reproduites, avec une perte de puissance le plus souvent… excellent article dans la revue Science. En psychologie, il y a eu le Repligate… des chercheurs ont voulu refaire des expériences des années 1950s, et comme la plupart n’ont pas été reproduites, ils ont eu diverses accusations de la communauté des chercheurs. Des lobbies contre la reproduction des résultats ont été actifs.
2) Manque de puissance : pas besoin de commenter toutes ces petites études dont on sait dès la mise en route qu’elles ne montreront RIEN ;
3) Défaut de divulgation des méthodes : plus de 70 % des chercheurs en psychologie ne décrivent pas correctement et complètement les méthodes dans les articles scientifiques. Mais pourquoi les revues publient ces articles ?
4) Failles statistiques : le dieu P < 0,05 apporte des inepties.. Statistiquement significatif peut n’avoir aucune pertinence.
5) Refus de rétracter les articles dont la communauté a les preuves qu’ils sont faux… Résistance dans la communauté.
Plusieurs billets sur ce blog concernent la reproductibilité !
Les solutions suggérées :
- Reproduction des recherches, et meilleure puissance statistique
- Méthodes Bayesiennes pour exprimer les résultats
- Collaborations entre équipes, bien que les ego soient forts
- Améliorer les standards de présentation des données
- Inciter les chercheurs à reproduire les expériences, et l’inclure dans les évaluations des carrières.
Voici les 7 péchés :
- The sin of bias……Les biais… la convenance sociale
- The sin of hidden flexibility La flexibilité cachée : p-harking et p-HACKing
- The sin of unreliability Manque de fiabilité
- The sin of data hoarding Accumulation de données… je pourrais arrêter de travailler et publier car j’ai beaucoup de données
- The sin of corruption Corruption… no comment !
- The sin of internement L’nternement, c’est le refus de l’ouverture des données, des publications, ..
- The sin of bean counting Comptage de haricots : facteur d’impact, astrologie, auteurs,…
- The redemption Le rachat !…. TOP (Transparency Openess Promotion) guidelines et Registered Reports
