Nous avons évoqué en août 2023 la politique australienne du 5 sur 5 devenue plus tard 10 sur 10. En avril 2024, un rapport de 29 pages a été publié sur l’évaluation de cette politique.
Une politique de publications au top : 10 articles de moins de 10 ans
En bref, ce titre explique ce qui est demandé dans des dossiers d’évaluation auprès d’instances académiques et d’organismes financeurs. Un CV d’un candidat à une promotion contient au maximum 10 articles et ils ont moins de 10 ans. Au départ, c’était 5 / 5 mais avec le temps, c’est un choix de 10 / 10 qui s’est imposé. Il s’agit de la politique du
NHMRC (National Health and Medical Research Council) en Australie. Les objectifs sont : valoriser la qualité de la recherche plutôt que la quantité de publications, rendre l’évaluation des publications équitable pour les candidats à tous les stades de leur carrière et dans tous les domaines de recherche, réduire la charge de travail des évaluateurs, et s’aligner sur les pratiques d’évaluation des publications de nombreux organismes de financement internationaux. Tout a commencé en 2018, mais le 10/ 10 a été mis en place en janvier 2022 ; donc l’évaluation a été faite un peu vite et il est recommandé de la refaire dans 3 ans.
Le rapport a des illustrations et propose des messages clés, des recommandations ; dans l’ensemble, c’est plutôt une satisfaction qui semble émerger. Les discussions sont autour de trois systèmes : 5 / 5 ; 10 / 10 ; liste de toutes les publications. Les changements entre 10 / 10 et 5 / 5 ne sont pas importants. Par contre ce sont environ 75 % des évaluateurs qui préfèrent le 10 / 10 par rapport à la liste de toutes les publications. Il reste des commentaires parfois étonnants, comme celui qui pense que 100 publications permet de mieux évaluer ! En général, la plupart des dossiers ont 10 publications, certains en ayant 9.
Les méthodes d’analyse sont insuffisamment décrites dans ce rapport. Les données ont été obtenues à partir des réponses de 268 évaluateurs.
Une réduction de la charge de travail sans nuire à la qualité de l’évaluation
La plupart des évaluateurs ont soutenu la mise en œuvre de cette politique et ont reconnu qu’elle contribuait à mettre l’accent sur la qualité, plutôt que sur la quantité, des publications. La politique a réduit l’importance accordée au nombre total de publications, aux facteurs d’impact des revues et à d’autres mesures quantitatives similaires. La plupart des évaluateurs considèrent que la mise en œuvre de la politique a permis de réduire la charge de travail, mais 23 % d’entre eux ne sont pas de cet avis et certains ont fait remarquer qu’une évaluation approfondie nécessitait beaucoup de temps et d’attention.
Outre la liste des publications, il y a des commentaires sur les activités de recherche et le positionnement des publications dans un cursus. La plupart (75 %) des évaluateurs sont très satisfaits et expliquent que les évaluations sont de meilleure qualité… mais 25 % en demandent plus et veulent une liste de toutes les publications. Le rapport a des verbatims et je copie colle ci-dessus des avis positifs. D’autres veulent revenir au top 5 ! Certains disent que lire 10 publications prend du temps pour bien évaluer et sous-entendent que des indicateurs bibliométriques facilitent les évaluations. En tout cas, les dossiers sont plus légers, que ce soit en nombre de pages ou en kilobytes !
Parmi les recommandations : continuer les évaluations périodiques du système, donner plus d’instructions aux chercheurs et aux évaluateurs.
Mon analyse est rapide ; une lecture détaillée est utile. Il s’agit essentiellement des positions du NHMRC. Qu’en pensent les universités ?
Un commentaire
10 /10, ça me paraît beaucoup (trop). Je n’ai pas bien compris ce qui a conduit à doubler arbitrairement le critère 5 /5, lequel me paraissait déjà relever du doigt mouillé plutôt que de la scientométrie.
On aimerait une véritable étude détaillée du nombre de publications pertinent pour juger d’un mérite académique. La multiplication des papiers ne me paraît vraiment pas être un signal favorable, et leur caractère trop récent pourrait être un facteur de risque (je préfère ceux dont le temps a confirmé la valeur).
Bref, il s’agit d’une passionnante question d’épistémologie pratique, loin d’être épuisée (son exploration, bien tardive, me semble à peine débutée).