Ayant moins de temps pour suivre la littérature, je dois remercier la bibliothèque du Ceris (Institut Pasteur) pour l’excellent blog ‘La science ouverte’ qui a bien analysé un livre blanc sur les résultats négatifs de Springer Nature. Il s’agit de données d’enquêtes auprès de plus de 11 000 chercheurs de 166 pays. Pour plus de détails, je vous laisse lire ce billet du blog de Pasteur, voire le livre blanc de Springer Nature.
Nous sommes tous convaincus de la valeur des résultats négatifs… mais !
- 98% des chercheurs interrogés reconnaissent la valeur des résultats négatifs,
- 85% pensent qu’il est important de les partager,
- 53 % des chercheurs se souviennent avoir obtenu principalement ou exclusivement des résultats négatifs dans le cadre d’un projet de recherche,
- 68% de ces derniers ont déjà partagé ou tenté de partager leurs résultats négatifs.
Ces 4 lignes ci-dessus sont copiées du blog de Pasteur, sans autorisation explicite !!! Ce billet reprend des recommandations pour chercheurs, rédacteurs de revues et financeurs/institutions. Rien de nouveau car cette situation est connue depuis longtemps.
Des infographies pour ne pas lire le rapport !
J’ai survolé ce rapport de 33 pages, facile à lire. Presque 40 % des 11 000 répondeurs sont en Europe, et presque 40 % en biomédecine. Il y a un billet de blog de Springer, et je reprends une capture écran d’une partie d’une infographie avec le message principal :
3 commentaires
Répétons-le : seuls sont vrais les « résultats négatifs », ceux qui réfutent une hypothèse erronée ! C’est ce que dit la conception popperienne de la science, et d’ailleurs calculer l’improbabilité d’une « hypothèse nulle » est la base méthodologique de toute expérimentation.
Quant aux résultats dits « positifs » quand ils confortent une conjecture, ils ne font que contribuer à sa crédibilité mais ne peuvent jamais assurer qu’elle est vraie (il faudrait pour ça faire la démonstration que sa négation est impossible).
Le problème est plutôt de savoir quoi faire des résultats sans valeur, ceux d’études stériles en raison de leur conception erronée, de leur puissance insuffisante, de leurs biais d’exécution. Ceux-là restent néanmoins intéressants… pour de tout autres raisons !
Il me semble utile de souligner que le calcul de l’improbabilité d’une hypothèse (nulle ou pas) implique de pouvoir calculer la probabilité de ladite hypothèse, ce qui ne peut se faire que dans le cadre bayésien. En effet, la p-valeur n’est absolument pas la probabilité d’une hypothèse mais la probabilité des données en fonction de la seule hypothèse nulle (ce qui est très restrictif), et ici je simplifie la définition de la p-valeur. C’est comme de mélanger la probabilité d’avoir de l’hypertension quand on a un phéochromocytome et la probabilité d’avoir un phéochromocytome lorsque l’on a de l’hypertension.
Je n’ai pas les compétences philosophiques suffisantes pour débattre de cela mais il me semble que la pensée de Popper a été très largement mal interprétée (comme cela arrive souvent lorsqu’une théorie devient connue au-delà du cercle de ses spécialistes). On assimile souvent la pensée Poppérienne au rejet de l’hypothèse nulle et comme étant la seule manière de tester des hypothèses mais ce n’est pas (toujours) le cas. La théorie de la relativité a été confirmée par la confrontation d’observations de Mercure (dont l’avancée du périhélie a été utilisée pour valider la relativité générale face à plusieurs autres théories pour expliquer cette avancée). En statistique bayésienne, il est très naturel et logique de confirmer une théorie par une augmentation de sa probabilité. Mais évidemment, par « confirmer » on doit comprendre « avec une probabilité suffisamment élevée pour ne plus raisonnablement en douter ». Cela suggère que l’on fasse la même chose pour l’hypothèse nulle : ne la rejeter que si sa probabilité est suffisamment faible (et 0,05 est bien trop grand pour cela dans la plupart des cas).
Pour revenir aux tests classiques, il faut également se rappeler que l’hypothèse nulle n’a la plupart du temps aucune pertinence dans le domaine médical malgré ce que peut en laisser penser l’usage quasi exclusif des p-valeurs depuis des décennies. Mais tester l’idée qu’un corticoïde fait la même chose qu’un placebo n’a aucun intérêt ; on connait la réponse à l’avance. Ce qui est plus intéressant, c’est de tester si la différence d’effet est négligeable, ce qui n’est pas du tout la même question. Enfin, quand Fisher rejette H0, il ne dit pas en faveur de quoi il rejette H0. On ne peut faire une comparaison que si il y a un comparé et un comparé (explicites). Si il n’y a qu’une seule hypothèse en présence, tout résultat, aussi extrème soit-il, vient forcément de cette seule hypothèse. Je rappelle que Fisher lui-même disait ne pas avoir besoin de formuler une hypothèse alternative.
Une théorie peut être validée ou rejetée par des résultats « positifs » ou des résultats « négatifs » : tout dépend de comment on qualifie ce qui est positif et négatif (et non, un test non-significatif n’est pas un test négatif ; tout dépend de la formalisation du problème).
En espérant avoir été utile…
OUI, vous êtes utile. Ce sont des concepts importants, mal connus. MERCI