J'ai aimé cet article bien fait (sauf que la discussion commence dans les méthodes), mais il faut beaucoup de temps et de prudence pour l'interpréter. Il s'agit d'un article de PLOS Biology, octobre 2013, intitulé "The asessment of science: the relative merits of post-publication review, the impact factor, and the number of citations" par 2 auteurs, anglais et allemand. Bravo car ils ont analysé 6000 articles publiés en 2005… quel beau travail. Un éditorial très critique accompagne cet article, et il est intitulé "Expert failure: re-evaluating research assessment". Cet éditorial défend les mesures du groupe PLOS (Almetrics). En fait, les experts ne sont pas bons pour évaluer la science ! Message inquiétant ! Ils seraient influencés par le facteur d'impact, et en fait feraient moins bien que le facteur d'impact qui n'est pas bon ! Mais dans cette situation où de nouveaux arrivants se battent (DORA, almetrics, F1000 et projets similaires), comment faire ? Soyons prudents en lisant leur article dans lequel, il y a quelques 'twist' selon l'éditorial accompagnant… Est-ce que les évaluateurs sont influencés par le facteur d'impact dans lequel l'article a été publié ? D'ailleurs F1000 a répondu pour défendre le modèle de post-publication review. Voici leur résumé traduit :
"L'évaluation des publications scientifiques est une partie intégrante de la démarche scientifique . Nous avons étudié trois méthodes d' évaluation de la qualité d'un article scientifique : évaluation subjective par les pairs après publication, le nombre de citations obtenues par un article, et le facteur d'impact de la revue dans laquelle l' article a été publié. Nous avons étudié ces méthodes en utilisant deux ensembles de données dans laquelle les évaluations subjectives de publications scientifiques ont été faites par les experts après publication. Nous constatons qu'il y a des corrélations modérées, mais statistiquement significatives, entre les scores de l'évaluateur, quand deux assesseurs ont évalué le même papier, et entre le score de l'évaluateur et le nombre de citations d'un article. Cependant, nous montrons que les scores d'un évaluateur dépendent fortement de la revue dans laquelle l'article est publié, et que les évaluateurs ont tendance à sur-coter les articles publiés dans des revues avec des facteurs d'impact élevés. Si nous contrôlons ce biais, nous constatons que la corrélation entre les résultats de l'évaluateur et entre le score de l'évaluateur et le nombre de citations est faible, ce qui suggère que les scientifiques ont peu de capacité pour juger la valeur intrinsèque d'un document ou son impact probable . Nous montrons aussi que le nombre de citations qu'un document reçoit est une mesure extrêmement sujette aux erreurs de mérite scientifique. Enfin, nous pensons que le facteur d'impact est une mauvaise mesure du mérite, car c'est une évaluation subjective . Nous concluons que les trois mesures du mérite scientifique considérés sont pauvres, en particulier les évaluations subjectives sont une méthode sujette aux erreurs, partiale, et coûteuse. Nous soutenons que le facteur d'impact peut être la plus satisfaisante des méthodes que nous avons examinées , car c'est une forme de contrôle de pré- publication. Toutefois , nous soulignons qu'il est susceptible d'être une mesure très sujette aux erreurs du mérite qui est qualitative et non quantitative .
