Le nombre de citations et les facteurs d’impact des revues ne rendent pas compte de la qualité de la recherche !

royal society open scienceJ’ai repris comme titre de ce billet une partie du titre de l’article publié le 17 août 2022 dans la revue Royal Society Open Science, à savoir : Le nombre de citations et les facteurs d’impact des revues ne rendent pas compte de certains indicateurs de la qualité de la recherche en sciences du comportement et du cerveau. J’aime bien les titres actifs avec un message, en général c’est le résultat principal de l’article. Peut-on généraliser ces observations ? C’est un énorme travail co-signé par deux chercheurs en psychologie (University of Mariland, USA, et University of Edinburgh, UK).

Voici une traduction du résumé : Les données des citations et les facteurs d’impact des revues sont des éléments importants des dossiers des professeurs et figurent en bonne place dans les décisions de promotion et les évaluations de l’impact sociétal plus large d’un chercheur. Bien que ces mesures jouent un rôle important dans les décisions à fort enjeu, les preuves sont mitigées quant à leur forte corrélation avec les indicateurs de qualité de la recherche. Nous utilisons les données d’un ensemble de données à grande échelle comprenant 45 144 articles de revues avec 667 208 tests statistiques et les données de 190 tentatives de réplication pour évaluer si le nombre des citations et les facteurs d’impact permettent de prédire trois indicateurs de la qualité de la recherche : (i) l’exactitude des rapports statistiques, (ii) la valeur probante des données rapportées et (iii) la réplicabilité d’un résultat expérimental donné. Le nombre de citations et les facteurs d’impact sont des indicateurs faibles et incohérents de la qualité de la recherche, telle qu’elle est définie, et sont parfois liés négativement à la qualité. Nos résultats soulèvent la possibilité que les données des citations et les facteurs d’impact soient d’une utilité limitée pour évaluer les chercheurs et leurs recherches. Nous discutons des implications de ces résultats à la lumière des structures d’incitation actuelles et examinons des approches alternatives pour évaluer la recherche.

Cet article bien construit (bonnes introduction et discussion !) de 18 pages répond à 3 questions et apporte ces réponses :

  1. The negative relation between the number of errors and the JIF may reflect the quality of the review process (maybe reviewers or editors of higher-impact journals are more likely to catch errors), the strength of the journal editorial team or (perhaps) the possibility that authors are more careful when submitting to higher-impact-factor journals.
  2. The small yet convincing negative relationship between evidentiary value and number of authors indicates that papers with greater numbers of authors were also associated with a given test providing less evidentiary value. To speculate, in the absence of preregistered analysis plans, the number of alternative ways the data could be analysed may grow as a function of number of authors, a hypothesis consistent with the findings of Silberzahn et al. In turn, it is possible that weak evidence discovered during extended exploratory data analysis is over-interpreted.
  3. The above analyses are consistent with the results presented for Questions 1 and 2, in that neither JIF nor citation counts reflect key aspects of research quality. Table 1 summarizes the key findings for all three questions we sought to address for all of the single-predictor models. If anything, the evidence seems to suggest that higher-impact-factor journals publish work that is less replicable consistent with recent research using a smaller, less representative sample. Thus, in regard to the question of whether citation counts or JIFs are positive indicators of quality, as defined by replicability, the answer appears to be ‘no’, at least given the data used to address this question.

La conclusion s’adresse aux responsables de SIGAPS/MERRI à la DGOS (voir billet de demain) :

En conclusion, notre analyse soutient l’appel croissant à réduire le rôle que joue la bibliométrie dans le système d’évaluation, et s’aligne sur les recommandations faites dans la DORA de San Francisco …, le Manifeste de Leiden et par de nombreux chercheurs. Plus concrètement, plusieurs chercheurs ont fait valoir que l’évaluation devrait se concentrer davantage sur le processus de recherche et moins sur les résultats, afin d’encourager les comportements qui favorisent une science ouverte, transparente et reproductible. Si l’évaluation est axée sur la façon dont les membres du corps professoral mènent leurs travaux plutôt que sur ce qui est produit, les incitatifs pourraient être axés sur des aspects de l’entreprise de recherche qui sont à la fois sous le contrôle du chercheur et qui favorisent sans doute les bonnes pratiques scientifiques.

Partagez cet article sur les réseaux:
Facebook
Twitter
Pinterest
LinkedIn

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Articles populaires

Archives mensuelles

Suivez-nous

Newsletter

Inscrivez-vous à notre newsletter mensuelle

Tags

Vous pourriez aussi aimer