Il y a eu beaucoup de recherches comparant le contenu des résumés avec le contenu des articles. Dans BMC Medical Research Methodology, une équipe essentiellement canadienne a publié fin 2017 une étude de portée (scoping review) pour rechercher les études sur ces comparaisons. Le titre "A scoping review of comparisons between abstracts and full reports in primary biomedical research".
Ils ont considéré le domaine de la recherche biomédicale en interrogeant EMBASE, Web of Science, MEDLINE et CINAHL de janvier 1996 à septembre 2016. Ils ont inclus 17 publications et défini un score d’inconsistence basé sur des différences majeures/mineures entre résumé et texte de l'article. "The primary outcome was the level of inconsistency between abstracts and full reports, which was expressed as a percentage (lower percentage indicating better reporting) or categorized rating (such as major/minor difference, high/medium/low inconsistency), as reported by the authors."
Leur score d’inconsistence était de 39 % pour la médiane avec des extrêmes de 4 à 78 %. Un score bas caractérise les bonnes études. L’étude est intéressante à lire, mais elle n’est pas quantitative et interpréter ce score est difficile. Restons dans le qualitatif. Par contre la lecture me permet de retenir :
- Une des premières études de ce type publiée dans le JAMA en 1998 par Roy Pitkin, alors rédacteur en chef de Obstetrics & Gynecology ; j’étais dans le board international du JAMA et je me souviens des vives discussions, et de la mise en œuvre d’un contrôle qualité pour les articles du JAMA ;
- Il ne semble pas exister une amélioration avec le temps : trop de résumés ont des spins, ce qui a été montré par ailleurs ;
- Une très grande variabilité de ces études, avec des critères de jugement non comparables ;
- Cela concerne autant les revues prestigieuses que les autres ;
- Pour les résumés de congrès, c’est clair : à jeter ! Nous savons bien qu’ils différent déjà du poster ou de la communication orale qui seront présentés au congrès ;
- Les 17 publications concernent des domaines différents de médecine, et deux d’entre elles concernent le vétérinaire.