Cette belle étude apporte des arguments aux experts qui, comme Iain Chalmers, ou The Lancet, expliquent que de nombreuses recherches sont inutiles et un gaspillage de ressources. Dans Nature Reviews Neuroscience, (10 avril 2013) des auteurs anglais et américain, dont JP Ioannidis, ont évalué la puisance statistique des études publiées. Ils ont choisi le domaine des neurosciences (mais leurs données sont peut-être identiques dans d’autres domaines), et après une recherche documentaire analysé 48 méta-analyses en 2011. Ils ont facilement montré que le pouvoir statistique moyen des études était bas. Beaucoup d'études avaient des puissances statistiques de 20 à 30 %, alors qu'il faudrait plus de 80 %. Cela diminue la chance qu’un résultat statistiquement significatif soit un vrai effet… Trop d’études dans la littérature ont des effectifs insuffisants, n’ont pas calculé à priori le nombre d’animaux, ou de patients à inclure.
C’est un article très méthodologique et didactique, bien que très détaillé et compliqué. Les auteurs ne sont pas défaitistes car ils proposent des recommandations pour améliorer les connaissances en neuroscience : Calculer le nombre de sujets/animaux à inclure avant de faire le travail ! Décrire les méthodes en détail avec leurs limites ! Enregistrer les protocoles et plans d’analyses avant de faire une étude ! Permettre un accès aux données sources de nos recherches ! Travailler en collaboration avec d’autres équipes pour augmenter la puissance des études, et la reproductibilité !
Y’a plus qu’à faire ! Cela semble simple, mais trop souvent c'est ignoré !
Cet article a été analysé par P Barthélémy sous le titre 'Doutes sur la fiabilité des neurosciences' sur son blog et m’a été signalé par Ph Touraine que je remercient.
Button KS, et al. Power failure : why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience 14, 365-376 (May 2013) | doi:10.1038/nrn3475
Un commentaire
Je remercie Eloi Magnin qui m’a signalé un article en neurosciences sur le même thème : »En lisant votre billet sur le blog sur la faible puissance stat des etudes publié en neuroscience, j’ai repensé à cette article que j’ai trouvé il y a qq temps qui montre qu’avec de mauvais outils stat on peut trouver des activations cérébrales même chez un saumon mort (!!!) »
En fait, cet article a été publié par une revue qui au 11 mai 2013 n’a publié qu’un article en 2010 : Journal of Serendipitous and Unexpected Results (JSUR) : vous pouvez soumettre vos articles farfelus… JSUR est un journal en Open Access sans frais pour les auteurs ! Des rédacteurs au Canada et USA…. voir http://jsur.org/