Cet article de 16 pages a été publié en septembre 2015 dans une revue de psychlogie "American Psychologist" et il décoiffe ! Des articles sur les biais en général ont été publiés, mais celui-ci est assez bien écrit, complet et avec des propositions d'actions. Les psychologistes américains ont beaucoup à nous apprendre : ce sont eux qui ont les meilleures données de reproductibilité de la science (publiées dans Science fin août 2015, et montrant que la reproductibilité était mauvaise) et le manuel de style de l'APA (American Psychological Association) est bien fait (oui, je l'ai chez moi !). Analyser cet article intitulé "Opportunities Biases. Their origins, effects, and an integrated solution" et signé par 5 américains d'universités différentes (quatre avec le même patronyme, Sparks) est difficile. Le premier signataire est affilié à University of Virginia, où est implanté l'équipe qui manage les expériences de reproductibilité. Cet article propose des solutions ! J'ai traduit le résumé, et listé des sous-titres de chapitres.
- Le résumé : "Les chercheurs explorent souvent leurs données de multiples façons avant de décider quelles analyses seront inclues dans les versions finales des manuscrits. Bien que cela améliore les chances des chercheurs de trouver des résultats publiables, cela introduit un «Biais opportuniste». Par exemple, les relations observées deviennent plus fortes ou autrement plus favorables en faveur des théories du chercheur qu'elles ne le seraient sans un processus exploratoire. Les grandeurs des biais opportunistes peuvent souvent être plus fortes que celles des effets observés, conduisant à des conclusions invalides et à un manque de clarté dans les résultats de la recherche. Généralement les auteurs ne signalent pas leurs procédures exploratoires, et ainsi les biais opportunistes sont très difficiles à détecter en lisant seulement la version finale d'un rapport de recherche. Dans cet article, nous expliquons comment un certain nombre de pratiques de recherche acceptées peuvent conduire à des biais opportunistes, nous discutons la prévalence de ces pratiques en psychologie, nous considérons les différents effets que les biais opportunistes ont sur la science en psychologie, nous évaluons les stratégies que des méthodologistes ont proposé pour prévenir ou corriger les effets de ces biais, et nous proposons une solution intégrée pour réduire la prévalence et l'influence des biais opportunistes. L'apparition récente d'articles discutant des pratiques de recherche critiquables à la fois dans des revues scientifiques et dans les médias souligne l'importance de comprendre comment les biais opportunistes sont créés et comment nous pourrions annuler leurs effets."
- Les sous-titres du chapitre 'Procedures that introduce opportunistic bias' :
-
Measure a Large Collection of Variables and Only Report Desirable Results
-
Examine Different Ways of Transforming Variables
-
Examine the Same Hypothesis Using Different Analyses
-
Examine the Same Hypothesis in Different Subgroups of Participants
-
Conduct Studies Examining the Same Hypothesis Using Different Methods
-
Scrutinize Undesirable Findings More Closely Than Desirable Findings
-
Collect Data Until Desirable Results Are Found
Ensuite, toutes les recettes pour diminuer les biais sont présentées, et nous les connaissons : enregistrer les protocoles, collaborer, abandonner P < 0,05, transparence, et surtout reproductibilité, etc…..
Merci à Jamie DeCoster qui m'a passé l'article
