Ce rapport de juillet 2015 est intéressant car il a évalué les nouveaux indicateurs pour évaluer la recherche (évaluer les publications en pratique) et a conclu qu'ils étaient aussi critiquables que le vieux facteur d'impact. Ce constat est partagé par les chercheurs, les universités, les sociétés savantes et tous ceux qui comprennent ce qu'est la bibliométrie. "The Metric Tide" a été publié par "Higher Education Funding Council for England". Vous pouvez accéder au résumé et aux 20 recommandations en 12 pages, ainsi qu'au rapport et ses annexes. Une lecture attentive par nos décideurs ne sera pas suffisante pour changer notre culture de l'évaluation de la recherche… dommage.
La marée monte avec toutes les pressions pour utiliser ces indicateurs nommés Altmetric, Altmetrics, ou avec d'autres noms pour évaluer la notoriété des publications en amalgament les réseaux sociaux, les diverses discussions sur des blogs, les archivages de type Mendeley, etc Soyons clair : ce n'est pas mieux que le mauvais facteur d'impact qui n'a jamais permis d'évaluer des promotions ! Il faut aller lire d'urgence les propositions de DORA.
Ce rapport propose la notion de "Responsible Metrics" :
- Robustness: basing metrics on the best possible data in terms of accuracy and scope;
- Humility: recognising that quantitative evaluation should support – but not supplant – qualitative, expert assessment;
- Transparency: keeping data collection and analytical processes open and transparent, so that those being evaluated can test and verify the results;
- Diversity: accounting for variation by field, and using a variety of indicators to support diversity across the research system;
- Reflexivity: recognising systemic and potential effects of indicators and updating them in response.
En résumé, rien ne vaut une bonne évaluation par des pairs qui ne regardent pas ces indicateurs qui n'ont pas été conçus pour évaluer la recherche, mais évaluer la communication de la science !
