Excellent ouvrage (mai 2017) de Chris Chambers, professeur de neurosciences cognitives à Cardiff. Le titre : The 7 deadly sins of psychology. A manifesto for reforming the culture of science practice. Je reprend chaque vendredi un des 7 péchés, et voir ensuite le rachat proposé dans le dernier chapitre.
Le chapitre 2 : « The sin of hidden flexibility« . La flexibilité cachée, en général des pratiques invisibles.
Dans ce chapitre, il y a la distinction subtile entre p-hacking qui regroupe les bricolages pour rendre une valeur de P Significative (augmentation de l’échantillon, changement du test, élimination de valeurs aberrantes,..) et le p-HARKing (Hypothesing After Results are Known) qui concerne essentiellement la définition de l’hypothèse alors que les résultats sont déjà connus….. Il semblerait que 100 % des chercheurs en psychologie (échantillon de 2000) aient exclu volontairement des données pour avoir un résultat convenable ; 75 % auraient oublié de préciser toutes les conditions de leurs expériences.
Il y a des exemples sur youtube : ajoutez 2 souris à chaque groupe de 8 souris et refaites les statistiques, et vous verrez ce qui se passe.. cela vaut l peine d’essayer !
Le chapitre commence par une histoire d’un illusionniste… avec des formules typiques. C’est un pratique habituelle que d’analyser des données complexes de manières différentes, puis de choisir l’analyse qui a un résultat significatif pour la publication. C’est une torture des données pour qu’elles parlent !
Beaucoup d’exemples de mauvaises statistiques, dont l’étude classique de Masicampo montrant que des valeurs de P supérieures à 0,05 deviennent inférieures à 0,05 dans les publications. Cette étude a été reprrise par un schéma simple : regardez ! « Je ne connais personne qui fasse un test et publie les résultats sans changer un peu la valeur de P…. »
Des solutions :
- Preregistration : il faut préciser les hypothèses avant d’analyser les données !
- p-curve : un outil pour estimer le prévalence du p-hacking !
- déclaration sur le calcul de l’échantillon, l’exclusion de données, les manipulations et mesures diverses
- partage des données sources
- solutions pour permettre ‘optional stopping’ : arrêter d’ajouter des échantillons, etc…
- standardiser les pratiques en recherche… par exemple, avoir les mêmes critères de jugement
- est-ce que le p-hacking est une fraude ? oui
Voici les 7 péchés :
- The sin of bias……Les biais… la convenance sociale (16 juin)
- The sin of hidden flexibility La flexibilité cachée : p-harking et p-HACKing (23 juin)
- The sin of unreliability Manque de fiabilité
- The sin of data hoarding Accumulation de données… je pourrais arrêter de travailler et publier car j’ai beaucoup de données
- The sin of corruption Corruption… no comment !
- The sin of internement L’nternement, c’est le refus de l’ouverture des données, des publications, ..
- The sin of bean counting Comptage de haricots : facteur d’impact, astrologie, auteurs,…
- The redemption Le rachat !…. TOP (Transparency Openess Promotion) guidelines et Registered Reports
