Il y a pas mal de données sur ce sujet, et la plupart sont assez cohérentes, sans changement avec le temps. Une revue systématique d’études compilant 7 300 références, fin 2015, a montré que 25 % des références n’apportaient pas les informations attendues.
Une nouvelle étude, publiée dans Proceedings A de la Royal Society en octobre 2020, apporte d’autres informations. Ce sont 250 références sélectionnées à partir d’articles de 5 revues très prestigieuses : Science, Science Advances, Proceedings of the National Academy of Science (PNAS), Nature et Nature Communications. Les auteurs ont inclus les 100 articles les plus cités de chacune de ces 5 revues. Ils ont tiré au sort 50 des 100 articles les plus cités de chaque revue, et extrait la première référence citée dans chaque article. Finalement 248 références de 248 articles ont été incluses. Ils ont lu ces citations pour les classer en 4 catégories et le résultat global est simple : 75 % sont ‘fully substantiated’ ; 12,9 % sont ‘impossible to sustantiate’ ; 8,5 % sont ‘unsubstantiated’ ; 3,6 % sont ‘partially substantiated’.
Les références ‘fully substantiated’ étaient citées plus souvent plusieurs fois.
Les suggestions des auteurs sont bonnes mais la communauté scientifique ne suivra jamais : ajouter le numéro de la page citée avec la référence dans le texte, de façon à permettre rapidement l’identification de la source.
Cet article cite environ 25 articles ayant déjà examiné la qualité des références (je n’ai pas vérifié s’ils citaient correctement). Cet article est mal écrit alors qu’il est publié par une bonne revue ! Les méthodes décrites sont incomplètes et la discussion commence dans les résultats ! Faut-il jeter cet article ? Il apporte quand même de bonne réflexion et ses résultats sont cohérents avec ceux connus, et portent sur 248 articles les plus cités de 5 revues ‘générales’ très prestigieuses… J’ai publié quelques billets sur l’art de la situation.
L’art de la citation est une plaie car il propage des informations fausses ou non vérifiées.
Ceci pose la question légitime de la qualité des articles avec des citations fausses ou de complaisance : la première rétractation d’un article pour fausses références a été observée ! OK, mais si l’on rétracte ces articles qui propagent des informations fausses… combien d’articles vont rester… car tous les articles ont probablement des citations ‘fausses’, ‘non vérifiées’, ‘trompeuses’….
