Des variables capricieuses
- J’ai fait une étude pour comparer des stratégies sur le comportement d’individus. Je vais mesurer 4 variables indépendantes : W, X, Y, Z
- Lors de l’étude pilote, toutes les variables sont influencées dans le sens de ma théorie ; je suis confiant
- Quand j’analyse plus tard les résultats finaux, seule la variable W se comporte comme ma théorie l’avait prédit.
- Les effets sur les autres variables sont à l’inverse de ceux attendus, et aucun n’est statistiquement significatif.
Que vais-je faire pour publier mes recherches ?
- Dans l’article, je ne rapporte que la variable W, sans mentionner que les variables X, Y et Z ont été mesurées. L’article est convaincant. Il devrait plaire au rédacteur en chef.
- Dans l’article, je mentionne brièvement que des analyses complémentaires sont dans les suppléments électroniques, contenant des résultats non statistiquement significatifs. J’espère que ni les reviewers, ni les lecteurs ne les liront.
- Dans l’article, j’explique tous les résultats. Je discute ces effets inattendus. Je suggère que ma théorie est incomplète, ou qu’elle s’applique partiellement.
- Je fais d’autres expériences, car j’ai besoin de résultats positifs. Cela peut me prendre un an.
Qu’en pensez-vous ?
Il est fréquent d’observer des propositions pour l’option numéro 3.
En public, personne n’ose répondre l’option numéro 1… et je ne sais pas si cette option ne pourrait pas convaincre, d’autant plus que le manuscrit est finalisé tranquillement avant une soumission à 23 heures et que les co-auteurs attendent une acceptation sans être trop regardants.
L’option 4 est la meilleure, mais peut mettre en difficulté un thésard qui a besoin de publications dans un temps donné.
L’option 3 plait mais elle semble dangereuse : est-ce que le rédacteur en chef va aimer des résultats dits négatifs ?
Les cas proviennent de situations réelles adaptées pour n’identifier personne ; ce sont des cas personnels, des cas d’autres collègues, ou des cas empruntés à dilemma games. Tous les cas d’intégrité scientifique de ce blog sont sur cette URL.
5 commentaires
Merci pour cette remarquable réflexion épistémologique ! Voila une brillante illustration du dilemme éditorial, pour moi inédite, qui présente le problème avec limpidité pour conclure l’an 2023.
En l’analysant bien, on voit que tout est dit dans le commentaire de l’option 4 : « besoin de publications » ! Les autres options, parfaitement définies et malheureusement toutes pratiquées à grande échelle, n’en sont qu’une conséquence désastreuse.
Ce qui empêche la seule bonne conduite scientifique (option 4) est bien la nécessité absolue d’être publié, et dans un délai le plus bref, pour des raisons de carrière personnelle ou d’obtention de financements structurels. Or cela mène paradoxalement à « récompenser » les inconduites.
Il est donc clair qu’il faut changer les règles institutionnelles, et cesser de confier aux éditeurs l’avenir des chercheurs et leurs moyens.
Les chercheurs doivent êtres jugés par leurs pairs sur leur pratique, et non sur la publicité qui en est faite. Le doctorant qui poursuit ses recherches doit être diplômé grâce à la qualité de son travail, non sur les résultats qu’il en a retiré. L’unité de recherche qui renonce à communiquer des résultats intrigants devrait être mieux financée que celle qui publie à tout va.
C’est à des organismes institutionnels spécialisés faisant intervenir des experts internationaux qu’il faut confier l’analyse anonyme de travaux qu’on leur soumet – non pour publication, mais pour obtenir une évaluation de leur qualité professionnelle. Il est certain qu’une telle révolution requiert de résoudre de nombreux problèmes (dont par exemple celui de la protection intellectuelle) en plus des difficultés pour l’organiser. Raison de plus pour s’y atteler… dès 2024 ?
Bonjour,
bonne réflexion… tous les organismes sont d’accord pour changer l’évaluation, et tous attendent que l’un d’entre eux montre l’exemple et commence. Le changement est très long, beaucoup trop long !!!!!
Cordialement
Bonjour,
Merci pour ces mises en situation. Ce sont des exemples très intéressants, que je suis tenté de réutiliser avec mes doctorants, si vous êtes d’accord.
Cependant, je ne comprends pas pourquoi vous estimez que la solution 4 est la meilleure. Dans celle-ci, vous valorisez la quête du résultat (« j’ai besoin de résultats positifs ») sur le processus scientifique. Pour moi, la qualité d’une étude se mesure à l’adéquation entre la question de recherche et la méthode. Après, les résultats sont les résultats. Peu importe qu’ils soient positifs ou négatifs, ils ne reflètent pas la valeur du chercheur. C’est justement à cause de la valorisation des résultats « positifs » que des dérives comme le p-hacking émergent.
Bien à vous,
Thomas
Merci pour vos remarques excellentes… je me suis trompé, ce qui montre les biais cognitifs. J’aurai bien sûr du écrire
Je fais d’autres expériences, car j’ai besoin de résultats. Cela peut me prendre un an.
Mon erreur a été d’écrire ‘résultats positifs’. C’est grave car cela traduit les biais du système qui nous influencent trop souvent
MERCI pour ce commentaire, et toutes les autres remarques +++ Tout ceci alimente les débats quand j’utilise ces cas.
HM
Toujours le problème de la fâcheuse dénomination « résultats positifs ». Un résultat positif est un résultat qui permet de conclure, sans biais ni erreur, à quelque chose de significatif et d’informatif. On est malheureusement intoxiqué par les intérêts commerciaux de promoteurs privés (…voire publics) qui ne jugent « positifs » que les résultats qui permettront de vendre quelque chose !
Un résultat « négatif » ne veut rien dire. Il y a des travaux qui donnent un résultat, qu’il faut alors publier ; et il y a les études stériles, qui ne donnent aucun résultat significatif ou interprétable, et celles là doivent en effet être « remises sur le métier ».
Répétons donc que les seul résultats qu’on puisse dire positifs sont ceux qui démontrent la fausseté (certaine ou hautement probable, selon le contexte) d’une hypothèse. Et rappelons qu’épistémologiquement, la non réfutation d’une hypothèse ne prouve pas sa vérité. Mal gré qu’en aient les obsédés du risque alpha…