Cas IS n° 12 : Choisir un test statistique qui donne un résultat significatif

Après les conflits d’auteurs, les citations inappropriées, les problèmes de stat sont fréquents

• Je commence l’analyse de mes données. J’ai utilisé des méthodes statistiques, essentiellement des tests prévus au départ dans le protocole
• La signification statistique est peu satisfaisante : les résultats sont non significatifs ou très peu significatifs donc je n’arriverai probablement pas à publier dans une revue, prestigieuse
• Finalement, avec l’aide de Google et autres outils, je trouve une autre méthode statistique
• Elle ne serait pas exactement utilisable pour la recherche faite avec mes méthodes, mes variables… mais le résultat statistique est bien plus satisfaisant

Que faites-vous ?

1. J’adopte la nouvelle méthode statistique, sans discuter le fait que le test n’est pas approprié, et sans dire que je n’ai pas utilisé les tests prévus dans le protocole
2. Je respecte mes méthodes et tests initiaux sans me demander s’ils conviennent puisqu’ils avaient été choisis à priori ; j’ai des résultats pas très convaincants, peu ou non significatifs
3. J’adopte la nouvelle méthode statistique, plus satisfaisante ; je discute clairement et justifie ce choix à posteriori dans mon article
4. Je donne les résultats des deux méthodes et je les discute dans mon article en expliquant les tests choisis à priori et ceux choisis à posteriori

La littérature sur les mauvais statistiques est grandiose

Ces situations sont très fréquentes, sans compter les situations où aucun test n’avait été choisi à priori. La situation 2 semble la meilleure, mais là encore, c’est prendre deux risques : un refus de mon manuscrit, une acceptation par une revue peu prestigieuse (je pourrai en citer !). Or, j’ai besoin d’articles pour une promotion, pour une thèse, etc…   et cette année..  Je ne peux pas attendre. Le système pousse des chercheurs honnêtes à dériver légèrement.

Parmi les nombreuses illustrations des biais des statistiques, et j’ai quelques billets sur le sujet, j’aime deux exemple :

1. L’image ci-contre, bien qu’ancienne, faite par un statisticien canadien, Larry Wasserman, à partir d’un article montrant la répartition de plus de 3 500 valeurs de P sur un graphe. Vous verrez l’explication et les sources dans ce billet.
2. J’aime bien la liste des questions que posent des cliniciens à des statisticiens quand il s’agit d’analyser des données. Ce sont 390 statisticiens qui ont noté les demandes des cliniciens pour les classer ensuite… je ne reprends que les demandes qualifiées de graves dans cet article génial :
   1. Falsifier la signification statistique (telle que la valeur P) pour favoriser un résultat souhaité.
   2. Modifier les données pour obtenir le résultat souhaité (comme le taux de prévalence du cancer ou d’une autre maladie).
   3. Supprimer ou modifier certains enregistrements de données (observations) pour mieux étayer l’hypothèse de recherche.
   4. Interpréter les résultats statistiques sur la base des attentes et non des résultats réels.
   5. Ne pas décrire en détail le traitement à l’étude parce que le protocole n’a pas été suivi à la lettre.
   6. Ne pas signaler la présence de données clés manquantes qui pourraient biaiser les résultats.

Les cas proviennent de situations réelles adaptées pour n’identifier personne ; ce sont des cas personnels, des cas d’autres collègues, ou des cas empruntés à dilemma games. Tous les cas d’intégrité scientifique de ce blog sont sur cette URL.