Hier nous avons présenté la première journée de ce congrès de 800 personnes à quelques heures de la France, mais avec moins de 10 français !!!
Première session : Taking stock of the science of science
Nous avons senti les compétitions entre pays et les évolutions récentes.. La Chine dépasse les USA.. et le fossé devrait se creuser.
Cassidy Sugimoto : Quelques messages… Présentation sur la situation actuelle avec la politique Trump. La nécessité d’investir en recherche. USA est encore devant mais la Chine monte très vite, et EU est troisième. En 2025, USA et Chine dépensent à peu près le autant… mais déclin prévisible des USA. Par exemple National Sscience Foundation passe de 2 à 1 milliard de budget. Les chinois ‘produisent’ plus de PhD depuis 20 ans. Ce sont les chinois qui viennent le plus aux USA et qui repartent ensuite. Les immigrants ont eu 40 % des prix Nobel américains depuis 20 ans. Les USA diminuent l’immigration de chercheurs quand EU, dont France, font l’inverse. La Chine augmente de partout, donc il faudra changer les indicateurs ??? Voir ‘Restoring gold standard science (White House)‘. Science n’a pas de frontières, nous devons collaborer. Il semble que le business dépense plus que l’académie en R&D ! Avec des objectifs différents.
Fiona Fidler (History & Philosophy of Science) Metascience in Australia. Un résumé de nombreuses activités dans le domaine de la métascience en Australie… Très impressionnant, car la France n’a pas fait aussi bien. Journal Metascience a existé de 1984 à 1992 en Australie. Beaucoup d’autres initiatives australiennes : Australasian EQUATOR Centre en 2006, AIMOS en 2019, Open Access Australia, Meta ROR en 2024, etc… J Byrne a fait beaucoup pour les QRPs, etc… Prochain congrès de AIMOS en novembre 2025 à Sydney.
John Ioannidis, Standford. Il a montré des chiffres entre 2005 et 2025… Créer un article fraudé est un art ! Les découvertes supposées fausses augmentent 50 % en 2005 versus 60 % en 2025 ! Proportion of public/government funding 40 % en 2005 versus 20 ou 10 % en 2025. De petits progrès grâce à la science ouverte… mais ceux qui partagent les protocoles ne les suivent pas. Papers published by countries with full democracy 66 % in 2006 versus 22 % in 2024. En pratique, il a été provocant… mais les données probantes manquent !
Andy Stirling. Il a listé de nombreuses questions. Discussion sur l’incertitude, les valeurs, la vérité.. Quels domaines de la science financer ?
Lin Zhang, Wuhan et Rédactrice en chef de Scientometrics. L’étude de la science de la science a commencé en 1970 en Chine (Bernal, The social function of science). Listings de l’organisation de la métascience en Chine avec Academic Society : The Chinese Association for Science of Science.’ The science of science’ est très développée en Chine (à voir…). Beaucoup d’exemples d’évaluation de la recherche en Chine. En bref : La science sur la science est bien organisée en Chine.
Where next for replication, transparency and analysis of QRPs?
Lina Koppel, Suède. ‘Nous avons mené une enquête auprès de 11 050 chercheurs et doctorants en Suède. Dans l’ensemble, 51 % des personnes interrogées ont indiqué avoir entendu parler de la crise de la réplication (30 % ont répondu « non » et 19 % n’étaient pas sûrs). Ce chiffre varie considérablement d’un domaine à l’autre, la psychologie affichant la plus forte proportion de chercheurs indiquant avoir entendu parler de la crise de la réplication (90 %).
Odd Erik Gundersen, Norvège. Nous avons reproduit 22 études sur l’IA qui ont partagé publiquement le code et les données ou seulement les données, avec un taux de réussite de 50 %. La reproductibilité augmente à 86 % lorsque le code et les données sont partagés, alors qu’elle est réduite à 33 % si seules les données sont partagées. La documentation des données est plus importante que celle du code. Voir son article sur arXiv.
David Valenta, Ottawa. Cette étude évalue l’efficacité de différents niveaux d’intégration de l’intelligence humaine et artificielle (IA) dans les évaluations de reproductibilité de la recherche quantitative en sciences sociales. Nous avons reproduit par calcul les résultats quantitatifs d’articles publiés dans le domaine des sciences sociales avec 288 chercheurs, répartis de manière aléatoire en 103 équipes dans trois groupes – équipes composées uniquement d’humains, équipes assistées par l’IA et équipes dont la tâche consistait à guider au minimum une IA pour effectuer les contrôles de reproductibilité (approche « dirigée par l’IA »). Les résultats révèlent que, lorsqu’elles travaillent de manière indépendante, les équipes humaines atteignent les mêmes taux de réussite en matière de reproductibilité que les équipes assistées par l’IA, tandis que les deux groupes surpassent largement les approches dirigées par l’IA (les équipes humaines atteignant des taux de réussite supérieurs de 57 points de pourcentage à ceux des équipes dirigées par l’IA), D’autres infos.
Luis Eduardo San Martin, World Bank. The world bank reproducible research initiative a été présentée. Depuis décembre 2023, ils ont publié 250 reproductions d’études, qui sont citables. De 300 packages, seulement 17 % ont été reproduits sans changement. Il existe une plateforme avec les données de ces travaux. Cette plateforme est impressionnante.
Tom Hardwicke, Sydney. Dans une étude transversale, nous avons estimé la prévalence des pratiques de recherche transparentes (par exemple, le partage des données et le pré-enregistrement) en psychologie en examinant manuellement 400 articles empiriques échantillonnés au hasard. La transparence a légèrement augmenté entre 2017 et 2022, mais continue d’être largement négligée.
Jane Hergert, Berlin. La plupart des études sur les QRPs considèrent 10 à 12 QRPs… Les pratiques de recherche douteuses menacent l’intégrité scientifique, mais restent mal définies. En utilisant une méthode de consensus communautaire, nous avons identifié et catégorisé 40 QRPs dans la recherche quantitative. Cette taxonomie renforce la transparence et aide à atténuer les QRP, contribuant ainsi à l’intégrité de la recherche et à la métascience. Le preprint est intéressant, et l’article accepté.
