On peut se demander à quoi servent les alertes fréquentes sur la très mauvaise qualité des analyses statistiques des articles 
scientifiques. Beaucoup de billets de ce blog attestent de la mauvaise qualité des statistiques. Cet article de PlOS One du 1 octobre 2020 est signé par Stephen Goodman (Stanford, METRICS), très connu pour ses alertes sur la mauvaise qualité des statistiques. Il avait fait une enquête similaire en 1998, et celle-ci est de 2017. Les statistiques semblent correctes dans cet article et la figure reprise à droite est bien faite.
Les messages importants :
- la mauvaise qualité des statistiques dans les articles scientifiques est connue
- bien que les alertes et documentations soient plus nombreuses, il n'y a pas eu d'améliorations en 20 ans
- la plupart des rédacteurs reconnaissent l'intérêt d'une analyse par un relecteur statisticien… mais rien ne change
- compte tenu des ressources insuffisantes en statisticiens, c'est l'intelligence artificielle qui nous aidera
- dans la moitié des cas, une analyse statistique supplémentaire n'augmente pas, ou augmente de 7 jours la durée du processus d'évaluation par les pairs
- les taux de réponse à ces enquêtes sont bas (34 %) dans cet article.. qu'en penser ?
Voici le résumé traduit de cet article : Les résultats dans le domaine de la recherche biomédicale sont généralement issues d'analyses statistiques. Cependant, une mauvaise utilisation ou une mauvaise compréhension des procédures et des résultats statistiques imprègne la littérature biomédicale, ce qui affecte la validité de ces allégations. Une des approches adoptées par les revues pour résoudre ce problème est de faire appel à des experts en statistiques. Il est intéressant de savoir combien de revues le font, comment l'examen statistique est intégré et comment sa valeur est perçue par les éditeurs. Nous présentons ici une version élargie d'une enquête menée il y a plus de 20 ans par Goodman et ses collègues (1998) dans le but de caractériser les politiques contemporaines de révision statistique dans les principales revues biomédicales. Nous avons reçu des réponses recevables de 107 des 364 (28%) revues étudiées, dans 57 domaines, principalement de la part des rédacteurs en chef. 34 % (36/107) utilisent rarement ou jamais une analyse statistique spécialisée, 34 % (36/107) l'ont utilisée pour 10 à 50% de leurs articles et 23 % l'ont utilisée pour tous les articles. Ces chiffres ont peu changé depuis 1998, en dépit d'une inquiétude croissante quant à la validité des recherches. La plupart des rédacteurs considèrent que la révision statistique a une valeur ajoutée substantielle au-delà de la révision régulière par les pairs et se disent relativement peu préoccupés par l'augmentation potentielle du temps de révision, du coût et de la difficulté à identifier des réviseurs statistiques appropriés. Il est nécessaire d'améliorer la formation statistique des chercheurs et de trouver différentes façons d'utiliser l'expertise statistique. Plusieurs propositions sont examinées.
