C'est une courte mais intéressante 'Research letter' du JAMA du 9 novembre 2011 qui attire l'attention sur un point important. Des méthodologistes/statisticiens connus ont analysé les résumés de revues systématiques. Ils ont cherché à savoir si dans ces résumés, la direction et la taille d'un effet, la signification statistique, l'intervalle de confiance, le P, et quelques autres données étaient clairement exposés avec des mots.
Sur 182 revues systématiques sélectionnées, le sens de l'effet était évident dans le résumé pour 105 revues, et peu évident dans 77 revues. Parmi ces 77, le sens pouvait être interprété à partir des chiffres de 34 résumés, et ne pouvait pas du tout être interpété dans 43 résumés.
Le conseil : la plupart des lecteurs ne savent pas bien interpréter les statistiques ; beaucoup ne comprennent pas les intervalles de confiance, etc….. Il faut expliquer les chiffres observés par quelques phrases narratives, et surtout exprimer clairement la direction et la taille des effets observés. Cette suggestion ne doit pas être limitée aux résumés des revues systématiques.
Je remercie JD Zeitoun qui m'a transmis cette lettre avant que je ne la trouve !
Beller EM et al. Reporting of effect direction and size in abstracts of systematic reviews. JAMA 2011;306:1981-1982.