La bagarre est vive dans le domaine des indicateurs pour mesurer l'attractivité, la notoriété des articles, plutôt que la notoriété des revues (ce que fait le facteur d'imapct de Thomson Reuters). Je connais mal ces indicateurs, et je dois faire des erreurs…. La revue ISQ pour Information Standards Quaterly a publié en août 2013 un numéro consacré aux "Altmetrics" avec 7 articles sur ce thème. On apprend que 2,4 millions d'utilisateurs de Mendeley ont déposé 420 millions d'articles… On apprend que 4 systèmes se développent vite : PLOS (voir ci-dessous), ImpactStory, Altmetric, Plum Analytics.
Mon avis de néophyte pour essayer de comprendre !
- Le groupe PLOS a commencé avec tous les metrics qu'ils utilisent et avec des évolutions au cours du temps. En 2013, les revues du group PLOS ont 4 types d'indicateurs pour un article : vus, cités, archivés, discutés. Le leitmotiv : nous mesurons les mérites des articles plutôt que celui des revues ! Allez voir les indicateurs d'un des articles les plus cités de PLOS Medicine 'Why Most Published Research Findings Are False'
- Le groupe BioMedCentral a lancé dès le début ses "Unofficial Impact Factor' pour les remplacer progressivement par les facteurs d'impacts de Thomson Reuters. En 2013, environ 150 des 256 revues ont un facteur de Thomson Reuters. Mais BMC et Springer devraient évoluer, car ils utilisent des projets comme Altmetric. Les articles de BMC ont un indicateur appelé "Highly accessed"… mais que veut dire cette qualification ? L'explication n'est pas claire.
- Le groupe Elsevier est actif dans ce domaine, avec des indicateurs du type SNIP (Source Normalized Impact per Paper) et SJR (SCImago Journal Rank). La base Scopus est très grande. Elsevier introduit dans ses revues des metrics de 3 types : quality, speed, authors.. allez explorer Virology par exemple.
Restons calme, ne nous affolons pas trop car rien ne permet encore d'évaluer la qualité. La prolifération de projets ne nous amènera pas une solution pour évaluer les carrières.. et je rejoins Jeffrey Beall dans ses critiques…. ce n'est pas le 'tweetimpact' qui nous aidera…
Un commentaire
Pourquoi ne se dirigent-ils pas vers Google qui a conçu de puissants algorithmes pour mesurer la pertinence de l’information ? Je dis bien pertinence et non qualité, c’est une pertinence par rapport à la recherche faite dans le moteur. La qualité est plus complexe car elle varie en fonction des attentes du lecteur.
Personne ne pourra faire mieux que de bons algorithmes dont la caractéristique fondamentale doit être le secret pour échapper à la Loi de Goodhart. C’est ce qu’a bien compris Google. L’évolutivité serait un plus.