Excellent ouvrage (mai 2017) de Chris Chambers, professeur de neurosciences cognitives à Cardiff. Le titre : The 7 deadly sins of psychology. A manifesto for reforming the culture of science practice. Je reprend chaque vendredi un des 7 péchés, et le rachat sera proposé dans le dernier chapitre.
Le chapitre 5 : The sin of corruptibility… le péché de corruption. Plutôt que résumer ce chapitre, j’ai traduit du mieux que possible les deux premières pages (pages 97 et 98) qui sont très réalistes :
Il est tard. Tout le monde est rentré à la maison et vous êtes fatigué. Après une semaine épuisante, vous avez finalement recueilli tous les résultats de votre dernière étude. Il s’agit d’une expérience cruciale, l’une que les reviewers de votre manuscrit ont demandé pour corroborer les 4 autres expériences de votre article. Si les résultats paraissent bons, votre travail sera probablement accepté pour une publication dans la revue Nature. Ce sera un ‘career maker’, une phrase que vous répète votre patron avec un éclair dans les yeux. Mais si les résultats sont négatifs ou pas clairs, les doutes des reviewers sur votre travail seront confirmés, et l’article probablement rejeté. Des mois de travail sont en jeu. Avec un article de Nature à votre portée, cette bourse de début de carrière est soudain accessible. L’indépendance, la sécurité du travail viendront, sans mentionner le prestige et l’admiration jalouse de vos pairs.
Vous faites les analyses. Le test donne p = 0,08. Putain, si proche, mais pour Nature, qui vole un oeuf on vole un boeuf (an inch is as good as a mile dans le texte). Que faire ? Vous réfléchissez aux stratégies possibles. Obtenir plus de données pour pousser la valeur de p en dessous du seuil fatidique de 0,05 ? C’est une pratique habituelle de vos collègues, mais obtenir plus de données va prendre du temps (la date limite que le rédacteur de Nature vous a proposée approche), et, de toute façon, il n’y a pas de garantie sur l’évolution de la valeur de p. De plus, vous êtes sûr d’avoir lu une fois que la collecte des données jusqu’à ce que p soit < 0,05 était mal vu par les statisticiens. Vous vous rappelez que vous l’avez évoqué avec votre patron, et que sa réponse avait été un grognement et un roulement des yeux. Personne ne se préoccupe vraiment de ce que les geeks de stats disent.
Une autre possibilité existe. Vous pouvez probablement analyser les données différemment. Oui, en changeant la règle pour exclure les données aberrantes de 2 déviations standard plutôt que 3. Ajuster l’exclusion des données aberrantes est légitime, n’est-ce-pas ? Ce sera peut-être difficile d’expliquer pourquoi vous avez utilisé une règle d’exclusion différente dans cette expérience par rapport aux autres, mais la rigueur semble bonne pour les reviewers, et il y a plein d’exemples dans la littérature qui ont utilisé 2 déviations standards. Vous refaites l’analyse et p = 0,067. On y est presque, mais pas un succès (Close but no cigar dans le texte). Par contrariété, vous essayez avec 2,5. Puis 2,25. Puis 1,75. Puis 4. Rien ne marche. La valeur de p est une pierre, inflexible.
Une autre inspiration. Essayer un autre type d’analyse totalement différente. Oui cela sera justifiable. Quelques clicks. p = 0,057. Beaucoup plus près, mais pas encore assez pour pouvoir arrondir au mensonge (white-lie dans le texte) notoire de » p = 0,05 « . Quelque chose de grand doit vous retenir… Vous étudiez les données. Dix participants. Cinq ont montré l’effet recherché. Trois n’ont pas montré grand chose, quelque soit le sens. Deux ont montré un effet inverse, dont l’un est vraiment très opposé à l’hypothèse de départ. Oui, le problème est ici, avec ce sujet qui a un effet contraire énorme. Quelque chose n’a pas marché. Peut-être qu’ils n’ont pas fait correctement ce qui était demandé ? Peut-être qu’ils avaient deviné l’hypothèse ou qu’ils n’ont pas suivi les instructions. En tout cas, il y a un « Mauvais Sujet ». Vous vous demandez ci qui peut se passer si vous enlevez un sujet de l’échantillon, tout en étant sûr de trouver une bonne raison pour l’enlever si l’on vous questionne. p = 0,052. Douloureusement proche. OK, bon d’accord, et si on inversait totalement le résultat de ce sujet.. la condition A devient la condition B et inversement. Juste pour un sujet. Juste pour voir ce qui se serait passé si le résultat attendu avait été observé. Maintenant p = 0,001. Magique. Ce n’est plus juste significatif, mais très significatif sans discussion. Un scientifique qui sait ce qu’est un niveau de signification.
La réalité fait un bruit sourd (Reality returns with a thud dans le texte). Vous avez changé les données. Vous avez atteint l’intouchable. Un click pour annuler. Vous êtes de retour à une valeur de p qui ne bouge pas, et même après avoir mis en oeuvre chaque pratique douteuse (mais légale) que vous connaissez, rien ne sera aussi impressionnant que p = 0,001. Donc il n’y a plus d’article dans Nature !
Mais c’est tard, et il n’y a plus personne dans le labo. Personne d’autre n’a vu mes données. Personne d’autre n’a autant travaillé que moi sur ces données — je suis le seul à pouvoir plonger on nager facilement dans ces données. Qui pourra savoir que j’ai inversé les données d’un sujet pour une condition ? D’accord, ce n’est plus la Vérité, mais les 4 autres expériences étaient aussi honnêtes que celles de vos collègues, et elles suggèrent toutes que cette dernière expérience devrait marcher. De toute façon, le concept de Vérité est subjectif, exact ? Si vous altérez ces données, vous pourrez publier toutes vos expériences dans une revue prestigieuse. De ce fait, votre bourse sera en sécurité, et vous apportez une contribution majeure à la science. Vous seriez vraiment un idiot si vous ne suiviez pas cette opportunité. Vous n’avez jamais altéré des données, et vous vous promettez de ne jamais plus le faire. Vous avez tellement travaillé que vous méritez cette récompense. Et puis, personne ne le saura. Vous pouvez facilement vous pardonner. Et puis, personne ne le saura.
Le chapitre continue ensuite avec des interrogations qui sont plutôt réalistes : « How many scientists have faced such a dilemna and yielded to the temptation to fabricate results? How many professors achieved their status because of fraudulent behavior earlier in their careers? How many scientists escalate their behavior from the gray area of questionable practices to partial or entire fabrication of data sets?….. »
Personnellement, j’ai vécu des situations semblables, soit personnellement, soit dans un cas explicite avec agrément de l’auteur qui a eu des conduites préjudiciables en recherche sous la pression de son patron. Les articles des années 1970s sont toujours dans la littérature.
La suite du chapitre décrit des fraudes de ce type… en commençant par le cas de D Stapel ! Le chapitre se termine par la description de 12 exemples de corruption !
Voici les 7 péchés :
- The sin of bias……Les biais… la convenance sociale (16 juin)
- The sin of hidden flexibility La flexibilité cachée : p-harking et p-HACKing (23 juin)
- The sin of unreliability Manque de fiabilité
- The sin of data hoarding Accumulation de données… je pourrais arrêter de travailler et publier car j’ai beaucoup de données
- The sin of corruption Corruption… no comment !
- The sin of internement L’nternement, c’est le refus de l’ouverture des données, des publications, ..
- The sin of bean counting Comptage de haricots : facteur d’impact, astrologie, auteurs,…
- The redemption Le rachat !…. TOP (Transparency Openess Promotion) guidelines et Registered Reports
