Rédaction Médicale et Scientifique

COVID-19 : vitesse et précipitation dans le domaine des publications ne sont pas un indicateur de qualité des publications

Notre soutien s'adresse aux professionnels de santé qui sont auprès des malades. Ils n'ont pas le temps d'écrire, voire de lire des articles scientifiques. J'ai déjà publié quelques billets sur ce tsunami de publications COVID-19 dont nous saurons plus tard quel est son intérêt. Il est probable, voire certain, que vitesse et précipitation ne soient pas amis de qualité des publications !

J'ai découvert une belle initiative du EPPI Centre en Angleterre. Des chercheurs actualisent une cartographie des publications sur COVID-19 ! Le projet s'appelle Covid-19: a living systematic map of the evidence. Ce site de ‘University College of London’ est génial, sauf que les critères d’inclusions ne sont pas assez explicites.

Le 26 mars 2020, il y a 1 761 articles pour lesquels titre, noms et affiliations des auteurs sont cités avec ou sans résumés. Les liens aux articles sont donnés. Des filtres permettent de sélectionner ce qui nous intéresse. Cela permet de constater tout d’abord que 1 149 articles ne contiennent pas de données primaires (987) ou concernent d’autres virus (162) ! Ce sont des opinions, des éditoriaux et réflexions diverses…  voire déjà des revues de littérature, ou des méta-analyses ! Est-ce utile et nécessaire de faire des revues d'une littérature qui a 2 mois d'ancienneté au maximum ? Il est plus facile de donner son avis plutôt que d’analyser des données.

Parmi les 612 articles contenant des données, il n’est pas surprenant de trouver 142 cas cliniques, 130 articles sur la transmission et les risques, 76 articles sur le diagnostic, 70 articles sur la génétique/biologie. J’ai parcouru au hasard quelques articles et constaté que les conclusions étaient souvent du type : « Ces résultats préliminaires nécessitent d’autres recherches », ou « Les complications sont observées surtout chez les vieux », ou « No one is allowed to go out ».

Voici le détail :

Intervention (outcomes studies) : 3 articles ; Transmission/risques 130 ; Diagnostic  76 ; Impacts sur la santé 103 ; Développement de vaccin  4 ; Développement de traitement  33 ; Génétique / biologie  70 ; Cas cliniques 142 ; Organisation  41 ; Impacts économiques / sociaux  5 ; Impact sur la santé mentale  5

Je remercie Gaétan Kerdelhué

PS : The NIHR Policy Research Programme Reviews Facility is a collaboration between: EPPI-Centre (Evidence for Policy and Practice Information and Co-ordinating Centre), UCL Institute of Education, University College London; CRD (Centre for Reviews and Dissemination), University of York; and PHES (Public Health, Environments and Society), London School of Hygiene and Tropical Medicine.

COVID-19 : au lieu d'être annulés, des congrès scientifiques seront 'virtuels' et ils prévoient une audience plus large

Dans ce contexte de pandémie du COVID-19, de nombreux congrès ont été annulés, que ce soient des réunions nationales ou des congrès internationaux. S'il s'agit de manifestations annuelles, les reporter de 6 à 9 mois est compliqué car trop proches du prochain congrès. Les questions sont nombreuses : que faire des abstracts acceptés ? faut-il rembourser l'inscription ? faut-il payer les frais exhorbitants déjà facturés, sans que la prestation soit réalisée ? faut-il repousser le congrès dans x mois ou l'annuler ? etc... 

J'avais abordé cette réflexion il y a un an dans le sens : peut-on encore réunir à l'autre bout du monde des chercheurs pour 3 à 5 jours ? Peut-on traverser le monde pour parler 20 minutes ? Des générations plus jeunes militent pour le développement durable et font remarquer que des technologies fonctionnent très bien. The Scientist a publié le 23 mars 2020 un article à ce propos : After Conference Cancellations, Some Scientists Find a Way

Le congrès de EASE prévu en juin 2020 à Valencia, Espagne, organisé tous les deux ans a été repoussé à 2021 :c'est possible avec 150 participants. J'ai aussi une réunion de 50 personnes à Paris qui devient un séminaire virtuel.

L'Endocrine Society a annulé son congrès 2020 et une page répond à la plupart des questions, en attendant les décisions de reprogrammation ou non.

Par contre la Cognitive Neuroscience Society maintient son congrès de 2 au 5 mai 2020, mais sous forme totalement virtuelle : le CNS Virtual 2020 congress. Initialement prévu à Boston en mars. C'est un gros congrès, et le progamme vituel est accessible... Il faut s'enregistrer et payer ! Tout sera sur une plateforme, et je ne sais pas comment ils feront avec les 1000 + posters... Les stands des sponsors seront virtuels. Ils prévoient une participation augmentée avec une empreinte carbonne minimale : "The virtual meeting will enable more attendees from around the world to attend, including those who have traditionally found it challenging to participate in the meeting, present their exciting research, advance their training, and make connections with colleagues from around the world. Importantly, this increased participation in the meeting will be accomplished with a minimal carbon footprint."

Ces congrès virtuels peuvent avoir un impact fort sur les congrès scientifiques... plus vite que prévu !

COVID-19 : les biais de convenance sociale cachent des déviances au niveau de la diffusion des recherches

Nous lisons tout sur le Coronavirus, et c'est très difficile de sélectionner les informations validées, d'autant plus qu'elles sont rares. Restons prudents et ne passons pas notre temps à dire que rien n'est bien fait... surtout gardons confiance en nos décideurs.Ils ne cachent rien.. arrêtons les fausses polémiques.

Je suis confiné dans les Alpes, à 1800 mètres... avec la neige !

Pour les revues, la transparence et l'intégrité sont ignorées par ces biais de convenance sociale :

• le peer review ouvert devrait être utilisé pour toutes ces publications : est-il acceptable pour les publications controversées que les revues restent opaques ? Les avis des relecteurs / reviewers devraient être publiés. Quels sont les experts qui ont relu les articles controversés, et qu'ont-ils recommandés ? Est-ce que les auteurs ont modifié leur manuscrit ? Des revues vertueuses, le BMJ et bien d'autres, pratiquent un peer review ouvert. Ouvrons le peer-review !
• des exemples d'avis de lecture sont en accès libre sur le net ; celui-ci est clair : des statisticiens anglais, avec aussi la liste d'items CONSORT ; la base de l'analyse de la littérature ;
  
• l'Open Data, l'Open source et tous ces mouvements sur la transparence et l'ouverture des données sources sont ignorés quand il s'agit de publications controversées ; l'accès aux données sources éviterait de conflits inutiles, et tout serait plus simple ! Ceux qui dans séminaires et colloques demandent l'ouverture des données devraient profiter de ce moment de communication pour exprimer fortement leurs souhaits ?
• des revues ont parfois exigé une analyse des données indépendante par un méthodologiste/statisticien n'ayant pas participé aux recherches.
• des institutions, les Académies recommandent de ne pas utiliser des indicateurs basés sur le volume des publications pour évaluer la qualité des chercheurs. Personne n'écoute ! Des journalistes qui se disent scientifiques ne savent pas utiliser ces indicateurs. Ils jugent la qualité des chercheurs au volume plutôt qu'à la qualité de leurs publications !
• les rédacteurs du JAMA ont publié un éditorial inquiétant pour l'analyse future des données : non seulement ils reçoivent beaucoup d'articles, mais ils ont constaté que des mêmes malades étaient inclus dans plusieurs publications, sans que ce soit clair. Ils ont aussi remarqué des auteurs communs à ces publications. Tout ceci ne respecte pas les standards éthiques de la publication. Nous verrons bientôt des revues systématiques comptant trois malades ou plus alors qu'un seul malade a réellement existé ! Leur court éditorial est au vitriol contre les pratiques des auteurs pendant cette épidémie : "Editorial Concern—Possible Reporting of the Same Patients With COVID-19 in Different Reports." Cet édito est commenté sur RetractionWatch.

Les revues déconnent, car prises par la compétition entre elles, par la pratique de certains auteurs qui, même en cas de crise, ne voient que les SIGAPS et autres index de notoriété. Les vrais soignants, au lit des malades, sont, à juste titre, scandalisés par ces chercheurs dont l'ego passe avant la transparence et l'intégrité des données.

Tout devrait changer après cette crise. La proposition de Pierre Rimbaud dans un commentaire est intéressante : un label 'Edition scientifique', une appellation contrôlée, type AOC, pour les revues. Des hollandais ont réfléchi à un modèle de ce type.

Le 31 janvier 2020, dans Les Echos, un article nous disait qu'il ne fallait pas s'inquiéter. Il y avait même un intertitre "Moins de morts que la trotinette". Cet intertitre caractérisait les épidémies en général, et pas le COVID-19. J'aurais pu dire la même chose, car prédire l'avenir est impossible.. restons pragmatiques et conservons les bonnes méthodologies pour travailler. Je souhaite profondément que le médicament miracle existe.. dans le respect de tous et surtout de l'intégrité de la recherche.

Voici mes billets sur le COVID-19.

Rapport annuel Frontiers : les français aiment cet éditeur (prédateur ?) avec 60 % d'acceptation des articles et des finances opaques

Frontiers, éditeur de revues scientifiques vient de publier son rapport annuel 2019, et quelques points nous surprennent. Les chiffres mis en avant : "With more than 135,000 published articles, 700 million views and downloads and 1.3 million citations, Frontiers is now the 5th most-cited publisher among the 20 largest publishers."

Mais regardons quelques points de ce rapport 2019 :

• les éditeurs les plus cités sont dans l'ordre : American Chemical Society, Royal Society of Chemistry, American Physical Society, Oxford University Press, Frontiers, Elsevier, MDPI, PLOS, WIley IEEE, Springer Nature, etc....
• Frontiers a publié 33 000 articles en 2019 ; taux d'acceptation moyen de 60 % avec des variations selon les revues ;
• 79 revues en Open Access ;
• La liste des institutions qui ont le plus d'auteurs et rédacteurs travaillant avec Frontiers est surprenante : 1) University of California System, 2) CNRS, 3) Chinese Academy of Sciences, 4) INSERM, 5) Harvard University, 6) University of Texas System, 7) Helmholtz-Gemeinschaft Deutscher Forschung, 9) State University System of Florida, 10) NIH... De très grandes universités anglaises, américaines n'apparaissent pas dans cette liste !!!!

Il y a beaucoup de chiffres dans ce rapport : facteurs d'impact des revues Frontiers, classement de ces revues selon divers indicateurs, MAIS MAIS MAIS : Aucune données financières. Frontiers est un éditeur privé et ses résultats ne sont pas publiés !! Surprenant quand les APCs (Article Processing Charges) sont d'au moins 2 000 € par article...   chez un éditeur qui accepte 60 % des articles, comme les mégarevues....  Pour Frontiers, le chiffre d'affaire est au minimum de 33 000 x 2 000 €

Les profits de Frontiers sont probablement élevés... et les français parmi les premiers contributeurs ! Je préfère les revues des sociétés savantes, en partenariat ou non avec des éditeurs établis, dont les taux d'acceptation varient entre 20 et 40 %. Les appels d'organismes français, comme le CIRAD, pour éviter cet éditeur sont vraiment bienvenus.... CNRS et INSERM devraient se questionner....

Trop de chercheurs sont des aveugles : arrêtons de nous opposer aux éditeurs qui publient leurs chiffres pour se précipiter ces des éditeurs complaisants qui acceptent les articles.... Frontiers éjecte les comités de rédaction peu complaisants !

Frontiers a été fondé en 2007 à Lausanne et était classé parmi les prédateurs par J Beall....... notamment par des usages agressifs de spams qui semblent avoir été abandonnés...

Bonne synthèse de la littérature COVID-19 ! Restons calmes car des données solides sur l'efficacité des traitements viendront

La désinformation est de mise sur le COVID-19 car des chercheurs sont attirés par le sensationnel plutôt que par produire des résultats validés qui demandent du temps. Je vous laisse vous faire votre opinion sur ce que dit le Pr D Raoult dans la Provence (21 mars 2020) : "Dans mon monde, je suis une star mondiale, je ne suis pas du tout à contre-courant. Je fais de la science, pas de la politique."...  Lisez tout l'article !

Je regarde au hasard les preprints, et je suis étonné par le nombre d'articles. Il y a déjà des revues systématiques qui apparaissent : c'est n'importe quoi ! Je vous rappelle qu'une bonne revue systématique demande 61 semaines, 5 personnes et inclut 3 % des articles !

• L'Inserm, avec ses partenaires d'Aviesan, a créé un consortium REACTing (REsearch and ACTion targeting emerging infectious diseases). Ce consortium fait une veille de la bonne littérature sur le sujet, en particulier en résumant les articles acceptés par des revues prestigieuses. La mise à jour du 19 mars 2020 est une excellente ressource. Je remercie ce consortium pour l'autorisation d'héberger ce document. Vous pouvez télécharger les dernières versions sur le site REACTing.
• Un preprint déposé sur medRxiv le 20 mars 2020 mérite publicité et lecture tranquille : A brief review of antiviral drugs evaluated in registered clinical trials for COVID-19. Il a été écrit par une équipe parisienne. C'est bien et ce preprint devrait passer un peer-review de qualité pour être publié. De nombreuses études ont été démarrées, mais combien seront de bonne qualité ? Je me suis permis de traduire tout le résumé, car c'est intéressant :
  

Contexte : Bien qu'un certain nombre d'agents antiviraux aient été évalués pour les coronavirus, il n'existe aucun médicament approuvé. Afin de donner un aperçu du paysage de la recherche thérapeutique pour COVID-19, nous avons procédé à un examen des essais cliniques enregistrés.

Méthodes : Un examen des essais cliniques actuellement enregistrés a été effectué sur les registres, y compris les bases de données chinoise (chictr.org.cn) et américaine (clinicaltrials.gov) afin d'identifier les études pertinentes jusqu'au 7 mars 2020. La recherche a été effectuée en utilisant les termes de recherche "2019-nCoV", "COVID-19", "SARS-CoV-2", "Hcov-19", "new coronavirus", "novel coronavirus". Nous avons inclus les essais cliniques interventionnels axés sur les patients atteints de COVID-19 et évaluant les médicaments ou agents antiviraux.

Résultats : Sur les 353 études identifiées, 115 essais cliniques ont été sélectionnés pour l'extraction des données. Les essais de phase IV ont été le type d'étude le plus fréquemment signalé (n=27, 23 %). Toutefois, 62 essais (54 %) ne décrivaient pas la phase de l'étude. Quatre-vingt pour cent (n=92) des essais ont été randomisés avec une assignation parallèle et le nombre médian d'inclusions prévues était de 63 (IQR, 36-120). Les études ouvertes étaient les plus fréquentes (46 %), suivies des études en double aveugle (13 %) et en simple aveugle (10 %). Les thérapies les plus fréquemment évaluées étaient les suivantes : thérapie par cellules souches (n=23 essais), lopinavir/ritonavir (n=15), chloroquine (n=11), umifenovir (n=9), hydroxychloroquine (n=7), traitement plasmatique (n=7), favipiravir (n=7), méthylprednisolone (n=5) et remdesivir (n=5). Le remdesivir a été testé dans 5 essais avec une médiane de 400 (IQR, 394-453) inclusions prévues par essai, tandis que la thérapie par cellules souches a été testée dans 23 essais, mais avec une médiane de 40 (IQR, 23-60) inclusions prévues par essai. Le lopinavir/ritonavir a été associé au plus grand nombre total d'inclusions prévues (2606), suivi du remdésivir (2155). Seuls 52 % des essais cliniques ont indiqué la dose de traitement (n=60) et seulement 34 % (n=39) la durée. Le principal critère de jugement était clinique dans 76 études (66 %), virologique dans 27 (23 %), radiologique dans 9 (8 %) ou immunologique dans trois études (3 %).

Interprétation : De nombreux essais cliniques ont été enregistrés depuis le début de l'épidémie de COVID-19, cependant, un certain nombre d'informations concernant les médicaments ou la conception des essais faisaient défaut.

COVID-19 : la bagarre pour publier vite n'est pas acceptable car de mauvais articles sont diffusés aux journalistes et patients

A qui reviendra la palme des plus mauvais articles sur COVID-19 ? Est-ce à l'équipe de D Raoult à Marseille ? Je ne sais pas ! Le 20 janvier 2020, j'ai évoqué la compétition entre les revues prestigieuses. Tout s'accélère : est-ce pour le bien de la science :

• à la date du 18 mars 2020, il y a 615 preprints en ligne (451 sur medRxiv, et 164 sur bioRxiv) ;
• un article de The Scientist (17 mars) nous explique que les reviewers sont surchargés, que le NEJM reçoit 40 manuscrits par jour sur ce virus, reviewés en 24 heures, pour en accepter 2 % ;
• le South China Morning Post, parmi ses très nombreux articles sur le Coronavirus, revient sur les mises en open access de ces articles qui ne semblent pas automatiques ; le mot clé coronavirus liste des articles intéressants pour le grand public ;
• l'ASM (American Society for Microbiology) héberge de nombreux articles dans ses 18 revues, comme Journal of Virology ;
• je ne sais pas si la chloroquine, l'hydroxychloroquine, l'azithromycine vont traiter cette maladie comme le laisse penser l'International Journal of Antimicrobiol Agents, et je souhaite que cela marche ; mais par contre les manipulations au sein de cette revue sont probables, et ne doivent pas convaincre tous les infectiologues. Je suppose que les données sources ont été communiquées à la firme qui commercialise ces produits, et aux autorités de santé.*

Au sein d'International Journal of Antimicrobiol Agents, existe-t-il des conflits d'intérêts entre auteurs et le rédacteur en chef, voire des reviewers ; je ne sais pas comment les reviewers travaillent si vite...

• Cette revue est aux mains d'un grand publiant, le professeur D Raoult de Marseille, grand publiant car sur PubMed (18 mars 2020), il a 1 802 publications avec l'entrée 'Raoult, Didier[Author]' (pour 2012, il a publié 191 articles)** ; avec d'autres bases, et en éliminant les doublons, le chiffre est supérieur ; c'est admirable et d'autres pensent que c'est un bon exemple pour les étudiants ; ses collègues infectiologues, comme le rédacteur an chef du NEJM avec 147 articcles sur son CV, sont de petits joueurs...
• Je conseillerai volontiers à la CME des hôpitaux de Marseille, à l'Université de Marseille de se pencher sur ce cas de publications multiples, et de me dire comment cela est possible ; mais entre pairs, on préfère se congratuler ;
• Cette revue est bourrée, au 18 mars 2020, d'articles sous presse sur le Covid, dont certains de l'équipe marseillaise :
  • 4 mars : Chloroquine and hydroxychloroquine as available weapons to fight COVID-19, un article dans la rubrique Hot Topic, avec JM Rolain, rédacteur en chef comme deuxième auteur, P Colson, rédacteur de la revue comme premier auteur, JC Lagier, rédacteur de la revue comme troisième auteur, et DR comme corresponding author ;
  • 7 mars : un éditorial en 5 langues (français, anglais, italien, chinois traditionnel et chinois simplifié) pour annoncer un numéro spécial ; son titre : Covid-19 therapeutic and prevention, avec DR comme premier auteur et JM Rolain, rédacteur en chef comme dernier auteur ; que le rédacteur en chef soit auteur d'un édito, c'est acceptable ;
  • 12 mars : un article de recherche intitulé : New insights on the antiviral effects of chloroquine against coronavirus: what to expect for COVID-19? avec 4 auteurs, dont le rédacteur en chef, un rédacteur de la revue et DR ;
  • 13 mars : un autre article avec 5 auteurs, dont bien sûr Colson, Rolain et DR avec pour titre : Teicoplanin: an alternative drug for the treatment of coronavirus COVID-19?
  • 17 mars : un article qui est pour l'instant sur le site de l'IHU de Marseille : Gautret et al. Hydroxychloroquine and azithromycin as a treatment of COVID‐19: results of an open‐label non‐randomized clinical trial. International Journal of Antimicrobial Agents – In Press 17 March 2020 – DOI : 10.1016/j.ijantimicag.2020.105949 ; ils y sont tous avec 18 auteurs pour 20 malades traités ;
  • ce dernier article me semble prématuré, même si je souhaite vivement que ces traitements marchent ; j'ai lu des commentaires virulents sur cet essai ; j'ai vu à la télé la prudence des commentaires des confrères infectiologues devant une étude ouverte de 20 malades...  si c'est si fantastique, le NEJM aurait dû l'accepter....  Qu'en pensent les sociétés savantes ? Ne serait-il pas utile de faire de la recherche clinique avec des méthodes de qualité, plutôt que de publier vite un article qui sera un excellent exemple de ce qu'il ne faut pas faire ?
    

* Phrase ajoutée le 21 mars

** Nombres mis à jour le 21 mars suite au commentaire de MaoTseTongue que je remercie

PS : il existe des données montrant que les reviewers favorisent les copains.

Les spins toujours très fréquents dans les abstracts des articles : l'orthopédie fait pareil que les autres disciplines

Encore une étude sur les spins des essais randomisés contrôlés (RCTs pour Randomized Controlled Trials), ces manipulations du langage dans le but d'induire le lecteur en erreur sur la véracité probable des résultats,qui  peuvent distraire le lecteur et mener à une mauvaise interprétation et à une mauvaise application des résultats.. Cet article a analysé 250 abstracts de RCTs en orthopédie avec un résultat non significatif pour le critère principal. Mis en ligne en janvier 2020, sont titre est : Analyzing Spin in Abstracts of Orthopaedic Randomized Controlled Trials with Statistically Insignificant Primary Endpoints. Il a été publié dans Arthroscopy: The journal of arthrocopic & related surgery. Les publications sur les spins sont fréquentes.

Je vous propose de lire transquillement le premier paragraphe de la discussion :

 

Les conférences prédatrices sont nombreuses... un business qui marche comme celui des revues

Il existe plusieurs sociétés qui organisent ces conférences très particulières : elles sont annoncées dans des villes et lieux prestigieux, avec des orateurs prestigieux...  Quelques personnes s'inscrivent et la conférence est déplacée au denier moment dans un hôtel de seconde zone. J'ai assisté à une conférence de ce type à Paris, que j'avais décrite, mais j'ai eu une lettre sévère d'un avocat et je ne peux pas continuer à prendre des risques.. J'ai déjà évoqué des conférences prédatrices au Canada.

Les grandes sociétés qui organisent ces conférences sont Waset, OMICS, et d'autres que vous connaissez probablement.

Je vous suggère de lire le témoignage d'un journaliste scientifique qui a décrit la participation d'une étudiante hongroise en neuroscience à une telle conférence. Il décrit tout le chemin qu'elle a suivi. Elle a d'abord payé £ 225 pour terminer dans un petit hôtel loin du centre ville d'Edinburgh...  un badge, une petite salle avec 50 participants. Un exposé d'un japonais prestigieux puis des présentations manquantes : 4 des 9 orateurs annoncés étaient absents. D'ailleurs, trois des quatre membres du comité scientfique étaient absents, la seule présente étant polonaise, pas très au courant de la sessions qu'elle devait gérer. Une personne de la société organisatrice était présente....

COVID-19 : pour ceux qui restent chez eux, écrivez des manuscrits... les revues seront-elles impactées et comment

Nous nous interrogeons sur l'impact du COVID-19 sur les publications. Les revues prestigieuses mettent en accès libre les articles sur le sujet, voire ont un site dédié pour ces articles (les éditeurs peuvent regrouper sur un site les articles des revues de leur portefeuille). Des sociétés proposent des services gratuits pour éditer des articles, pour traduire probablement.... profitez-en vite ! Ces sociétés donnent des conseils pour le travail en ligne, et notamment pour en profiter pour écrire des manuscrits.

Il y a des proffessionnels, essentiellement dans le domaine de la santé, qui n'ont plus le temps d'écrire. Il y a des chercheurs d'autres domaines qui sont confinés chez eux, avec annulation des congrès et autres réunions. Le congrès de EASE European Association of Science Editors en juin est déjà annulé. J'avais préparé une table ronde sur les revues prédatrices...  mais ce sera reporté en 2021 !!

Profitez-en pour faire vos recherches documentaires, pour analyser vos données, pour écrire des manuscrits... si vous n'êtes pas mobilisés par ce virus. La question de fond : est-ce que les soumissions de manuscrits aux revues seront sensibles au COVID-19 ? Moins de soumission dans le domaine médecine et plus de soumission dans les autres sciences ? Vos paris ?

Pourquoi Western blot ? Le blog d'Elisabeth Bik nous explique Northern, Southern mais pas Eastern

J'ai emprunté cette copie d'écran à un billet de l'excellent blog d'E Bik, détective d'images fraudées dans les articles scientifiques. Ce billet explique comment détecter les images de Western blots qui ont été bricolées. Elle explique pourquoi 'Western'. Lisez tout le billet qui est très didactique. Voici l'extrait :

Quantitative Science Studies arrive.. attendons les premiers articles.... car J of Informetrics n'est pas mort

En mars 2019, j'avais expliqué les raisons de la démission en janvier 2019 du comité de rédaction de J of Informetrics pour créer une nouvelle QSS au sein de MIT Press Journals.

Le 20 février 2020, un premier éditorial annonce l'arrivée de QSS (Quantitative Science Studies). Titre de l'éditorial : Opening science: The rebirth of a scholarly journal

Cet éditorial est signé par des experts connus de la bibliométrie : Ludo Waltman, Vincent Larivière, Staša Milojević, and Cassidy R. Sugimoto. Cet éditorial explique les raisons de désaccord entre le comité de rédaction de J of Informetrics et Elsevier, propriétaire de la revue. Il n'y a pas encore d'articles publiés par QSS. Le rédacteur en chef est Ludo Waltman, Leiden University, Leiden, Netherlands. Il y a un comité de rédaction très international.

Journal of Informetrics a maintenant un nouveau comité de rédaction, moins pléthorique que celui de QSS. Le rédacteur en chef s'appelle Mu-Hsuan Huang, National Taiwan University Department of Library and Information Science, No. 1, Sec. 4, Roosevelt Road, 10617, Taipei, Taiwan. Le facteur d'impact est de 3,879, mais QSS va attendre, même si MIT Press devrait s'activer...  mais il faut des articles...

La reproductibilité serait améliorée si les données brutes des articles étaient publiques, mais les auteurs ne veulent pas !

J'ai choisi de traduire le résumé d'un article étonnant dans la revue Molecular Brain le 21 février 2020 : "No raw data, no science: another possible source of the reproducibility crisis". Simple, mais le rédacteur en chef a exigé des données brutes de manuscrits avant de les oumettre à peer-review. La raison pour les demander est que l'article était trop beau pour être vrai. Eh bien, les auteurs ont refusé dans 20 cas sur 41 demandes, et pour 20 autres articles, les données étaient insuffisantes donc rejet du manuscrit ! Voir le flow chart ci-contre, et le résumé ci-dessous :

Une crise de reproductibilité est une situation où de nombreuses études scientifiques ne peuvent être reproduites. Des pratiques scientifiques inappropriées, telles que le HARKING, le p-hacking et la publication sélective de résultats positifs, ont été suggérées comme causes de non reproductibilité. Dans cet éditorial, je propose que le manque de données brutes ou la fabrication de données soit une autre cause possible de non reproductibilité.

En tant que rédacteur en chef de Molecular Brain, j'ai traité 181 manuscrits depuis le début de 2017 et j'ai pris 41 décisions éditoriales classées dans la catégorie "Révision avant relecture par les pairs", demandant aux auteurs de fournir des données brutes. Étonnamment, parmi ces 41 manuscrits, 21 ont été retirés sans fournir de données brutes, ce qui indique que le fait d'exiger des données brutes a fait fuir plus de la moitié des manuscrits. J'ai rejeté 19 des 20 manuscrits restants en raison de l'insuffisance des données brutes. Ainsi, plus de 97 % des 41 manuscrits n'ont pas présenté les données brutes à l'appui de leurs résultats lorsqu'un rédacteur en a fait la demande, ce qui suggère la possibilité que les données brutes n'existaient pas dès le début, du moins dans certaines parties de ces cas.

Considérant que toute étude scientifique devrait être basée sur des données brutes, et que l'espace de stockage des données ne devrait plus être une difficulté, les revues devraient, en principe, essayer de faire en sorte que leurs auteurs publient les données brutes. Elles peuvent être déposées dans une base de données publique ou sur le site de la revue dès la publication de l'article afin d'augmenter la reproductibilité des résultats publiés et d'accroître la confiance du public dans la science.

Je remercie S Huet qui a tweeté cet article.

Une seule " usine à articles " semble avoir produit au moins 400 articles avec images fraudées... c'est la Chine !

Elisabeth Bik, basée à San Francisco, est devenue une détective excellente pour identifier les images fraudées des articles en biologie. C'est une microbiologiste hollandaise basée aux USA. En février 2020, la revue Science a annoncé qu'Elisabeth Bik avait mis en évidence un article qui a été à l'origine de 400 articles dans différentes spécialités avec les mêmes images.

Ce sont des articles écrits par des sociétés de service pour des étudiants en médecine qui doivent avoir leur thèse. Pour avoir une thèse de médecine, il faut publier un article en anglais dans une revue internationale. La liste des plus de 400 articles est accessible sur le site d'E Bik. Ce sont des articles publiés surtout en 2018-2020. Il n'y a pas que des western blots qui sont similaires.. les histogrammes ont des similitudes et aussi les titres des articles. Tous les détails sur le site d'E Bik avec un titre 'The tadpole paper mill' que l'on peut maladroitement traduire par 'Les tétards de l'usine à article'.

Les investigations sont en cours dans les revues alertées, et certaines revues ont plus de 20 articles (voir image). Ceci met en évidence les faiblesses du peer review. Les rétractations viendront ensuite...

Synhtèse excellente d'une formation pour écrire un article de recherche : tout est dit en quelques mots

Cet éditorial est concis et très utile. Il apporte les éléments principaux à connaître pour écrire un article de recherche. Il a été publié dans International Journal of Radiation Oncology en mars 2020. Quelques bonnes idées :

commencez votre projet de rédaction 6 mois avant...

chosissez 6 illustrations au plus vite et travaillez pour les rendre très lisibles

Ce n'est pas un jeu de piste, une énigme et le lecteur doit anticiper chaque paragraphe comme vous allez l'écrire. Au début 'Lock your 6 figures'...  c'est la priorité.

Voici le conseil pour le premier paragraphe de l'introduction :

• a. Paragraph 1: Big picture. However, I would avoid first sentences such as
  • i.“There are 52,000 cases of pancreas cancer each year”
  • ii.“Pancreas cancer is a terrible disease and new treatments are urgently needed”
  • Anyone who is reading your paper will know this. Why waste words boring your readers with what they already know?

Quelques conseils de style :

• Every paragraph has a structure. A topic sentence states what the paragraph is about. This is followed by a series of statements unified by this concept by content or chronology. A concluding sentence bridges to the next paragraph. It makes the paper much easier to follow.
• Active voice makes a paper more fun to read.
• Avoid needless words. My “hit list” includes “the fact that,” “it has been shown that,” “clearly,” “importantly,” and “consistently.” None of these words contain information. If the statement is not “important” or “clear,” stating that it is does not make it so. Another example is “a viable option.” I try putting the opposite of the word in its place: “a nonviable option.” If it is not viable, it is not much of an option, so “an option” should suffice.

Belles bagnoles pour les cardiologues, amendes pour les psychiatres, vitesse chez les orthopédistes

Les psychiatres sont les plus susceptibles de recevoir une amende pour un excès de vitesse extrême, et les cardiologues sont les plus susceptibles de conduire des voitures de luxe lorsqu’ils reçoivent des amendes, selon une étude publiée dans le numéro de Noël 2019 de la revue BMJ. 

Cet article intitulé "The need for speed: observational study of physician driving behaviors" a une illustration reprise ci-contre. Il s'agit d'une animation interactive sur laquelle le lecteur peut cliquer pour voir cinq classifications (boutons verts de droite).

L’étude menée aux États-Unis a recoupé des données sur les infractions au code de la route avec des données accessibles au public relatives aux caractéristiques des médecins. L’échantillon a inclus 5 372 médecins et 19 639 non-médecins ayant reçu une amende pour un excès de vitesse durant la période 2004–2017. La proportion de conducteurs cités à comparaître pour un excès de vitesse extrême (défini comme une conduite supérieure à 30 kilomètres par heure au-dessus de la limite de vitesse) était similaire entre les médecins et les non-médecins (26,4 % contre 26,8 % des amendes, respectivement).

Cependant, parmi les médecins ayant reçu une amende, les psychiatres étaient les plus susceptibles d’être condamnés à une amende pour un excès de vitesse, par rapport aux médecins d’autres spécialités (rapport de cotes corrigé pour la psychiatrie, par rapport à la spécialité de l’anesthésie à l’inclusion : 1,51 ; IC à 95 % : 1,07–2,14).

La possession d’une voiture de luxe a été le plus fréquemment constatée chez les cardiologues (proportion corrigée de cardiologues ayant reçu une amende qui possédaient une voiture de luxe : 40,9 % ; IC à 95 % : 35,9–45,9 %) et le moins fréquemment constatée chez les médecins spécialisés en médecine d’urgence, en médecine générale, en pédiatrie, en chirurgie générale et en psychiatrie.

Les orthopédistes roulent vite. Les médecins n’ont pas reçu de traitement plus indulgent de la part de la police, quelle que soit leur spécialité.

La belle endormie s'est réveillée : félicitons le Bulletin de l'Académie Nationale de Médecine

La lecture de l'éditorial du rédacteur en chef, JN Fiessinger, du Bulletin de l'Académie nationale de médecine nous fait plaisir. Cet éditorial du numéro de février était disponible sur internet le 13 janvier 2020. Je cite un paragraphe : "Dans le cadre de la célébration du bicentenaire de notre Académie, le Bulletin a effectué en 2019 une évolution majeure. Confié à une maison d’édition de stature internationale, animé par un comité de rédaction renouvelé sous la responsabilité d’un comité éditorial international constitué de membres de notre Académie, le Bulletin répond désormais aux exigences d’une époque où la diffusion numérique, l’inclusion dans les grandes banques de données sont des préalables indispensables à la diffusion des travaux publiés." L'expression 'La belle endormie' est empruntée à cet éditorial.

J'ai déjà félicité cette Académie en juillet 2018 pour la mise en ligne de ses rapports, mais dans le passé, j'étais critique. En octobre 2017, j'avais remarqué les retards habituels de publication des numéros et j'avais eu des commentaires acerbes. Tout était en retard, et j'avais évité de citer des articles dont le peer review était mal fait..

Tout a changé : nouveau comité de rédaction, délégation d'activités à Elsevier qui a apporté un professionnalisme qui manquait. Longue vie à ce Bulletin dont le facteur d'impact ne pourra qu'augmenter. Mais ce Bulletin va être confronté à d'autres décisions, comme celle de refuser ou accepter des articles en anglais. Et j'ai même publié dans ce Bulletin (article en ligne le 21 février 2020), grâce à Olivier Laccourreye que je remercie : "Les journaux médicaux scientifiques en langue française face aux défis du XXI^e siècle".

Ouvrir le peer review !

Une vraie recherche sur l'évaluation par les pairs est nécessaire. C'est un commentaire de Nature le 25 février 2020 qui attire notre attention. Le peer review est considéré important ou très important par 98 % des chercheurs (enquête 2018 avec 11 000 chercheurs), et pourtant il est mal connu.

Les modalités du peer review sont très variables entre les revues... et nous manquons de recherche  sur le management du peer review par les revues. Il existe des données pour les revues biomédicales qui ont leur congrès du peer reveiw depuis 1986 (tous les 4 ans), et le prochain congrès est en septembre 2021 à Chicago. Mais en dehors de ce congrès sous l'égide du JAMA, BMJ et de METRICS, les pratiques des autres revues ont été peu analysées.

L'objectif de cet article est de présenter l'initiative PEERE, financée par COST (the European Cooperation in Science and Technology). PEERE a préparé un protocole pour partager des données de peer review entre 150 revues. Le protocole est brièvement présenté dans cet article car il s'agit d'accumuler des données sur les manuscrits, les revues, les procédures du peer review et des avis de reviewers.  Tout est anonymisé.

PEERE organise sa seconde conférence en mars 2020 à Valencia, Espagne. Le programme est disponible.

Quand je lis mon CV, je regrette d'avoir publié certains articles : et vous ? Limitons le nombre d'article par auteur ?

L'article intitulé "Fast lane to slow science" paru en janvier 2020 dans Trends in Cognitive Sciences m'a étonné. L'auteure, Uta Frith, travaille à University College of London (UCL), UK. Elle est d'origine allemande, a 78 ans, et est connue pour ses travaux et livres dans l'autisme et la dyslexie.

L'auteur est honnête en avouant qu'elle a eu son premier poste à UCL avec un article sur son CV, qu'elle en avait 28 dix ans plus tard, et que ce n'est plus possible. J'ai retenu cette phrase :

When I look at my CV, I see papers that I wish I had not published, because they are either not sufficiently original or methodologically robust.

L'article se lit facilement et sa proposition est de limiter un article par chercheur et par an : The most provocative of my suggestions is to drastically restrict first, the number of grants that anyone can hold at any one time, and second, to restrict the number of papers anyone can publish per year. Personally, I would aim for just one. Impossible? Not necessarily

Elle ne dit pas comment faire !

La science rapide : tous les records battus avec le Coronavirus COVID-19

C'est une épidémie de publications avec ce Coronavirus. Nous avons vu que les revues prestigieuses se battaient et mettaient en ligne le plus vite possible des articles d'accès libre ! La guerre est rude, gagnée par des chinois et quelques revues. De nombreuses données émergent sur ce phénomène de publications. Il est très clair que beaucoup de ces articles ne servent à rien.

Un billet d'un blog de Reuters(19 février 2020) a analysé 153 articles disponibles le 10 février 2020 : 92 étaient des preprints n'ayant pas eu de peer review. Trois étaient déjà rétractés parmi les preprints ! Ce sont 675 auteurs, dont 59 % sont chinois, qui ont signé des 153 articles, donc par article 4 auteurs en moyenne. Les articles sont sur l'image ci-contre avec en rouge les auteurs chinois.

Affaire Peyroche : clap de fin ? Le temps est indispenable pour éviter des prises de positions rapides, et analyser les preuves

Plutôt que de ré-écrire sur ce sujet, j'ai copié le titre : Je vous propose de lire tranquillement l'excellent billet de Sylvestre Huet sur son blog. Rien à ajouter, c'est bien dit. Il y a tout.

Un article du 13 février par Hervé Morin dans Le Monde fait aussi un état clair de la situation avec pour titre "Deux semaines de mise à pied pour l’ex-présidente du CNRS" et un sous-titre : "Mise en cause pour des manipulations de données, la biologiste Anne Peyroche admet des fautes, mais pas de fraude. Son employeur, le CEA, a mis en ligne l’essentiel des documents qui ont motivé sa sanction."

Nous avions (décembre 2018) évoqué ce cas qui a été très médiatisé, et le rapport final de 395 pages est bien fait (lien dans le billet de S Huet). Mme Peyroche a payé pour de nombreux collègues, prise dans un tourment médiatique... avec surtout la signature de 500 zozos qui n'avaient probablement pas tous examiné les images discutées.

Revues et Covid-19 : 'hot papers', peer-review simplifié, articles gratuits, altmetric en hausse et compétition sévère

Suivre l'épidémie de Coronavirus à travers les revues scientifiques est possible, mais la surinformation tue l'information. Que se passe-t-il ? Les revues doivent suivre l'actualité, s'adresser au lectorat chinois, attirer les articles à tout prix, etc..  Nous avons décrit la compétition NEJM / Lancet sur la clinique, les risques du NEJM avec des cas trompeurs, mais toute bonne revue a son site dédié COVID-19. Beaucoup de revues anglo-saxonnes publient des articles en mandarin !! Sur l'archive ouverte medRxiv, il y a 187 preprints le 27 février 2020 !! Ce virus est un booster pour cette nouvelle archive ouverte, sous l'égide du BMJ, de Yale et du labo Cold Spring. J'ai consulté des Altmetrics qui sont élevés, avec le grand public en premier 'lecteur' (si lecteur est le bon mot).

Les revues ont des politiques précises (sont-elles suivies ?) pour les articles, par exemple, j'ai traduit les politiques de CellPress :

Cell Press s'engage à traiter les documents COVID-19 avec la même approche réfléchie et opportune de l'examen par les pairs que celle que nous appliquons dans tous les domaines. Les articles qui sont acceptés seront accélérés jusqu'à leur publication, et tout ce qui sera publié sera immédiatement mis en libre accès sur cell.com. En tant que signataire de la déclaration du Wellcome Trust sur le partage des données de recherche et des résultats pertinents pour l'épidémie, Cell Press s'engage à collaborer avec la communauté pour aider à garantir : -- toutes les publications de recherche évaluées par des pairs et pertinentes pour l'épidémie sont immédiatement mises en libre accès, ou librement disponibles au moins pendant la durée de l'épidémie ; -- les résultats des recherches en rapport avec l'épidémie sont immédiatement communiqués à l'OMS lors de la soumission d'un manuscrit, par la revue et en informant les auteurs ; -- les résultats de la recherche sont mis à disposition via des serveurs de preprint avant la publication dans la revue, ou via des plateformes qui rendent les articles librement accessibles avant l'examen par les pairs, avec des déclarations claires concernant la disponibilité des données sous-jacentes ; -- les chercheurs partagent les données provisoires et finales de la recherche relatives à l'épidémie, ainsi que les protocoles et les normes utilisés pour collecter les données, aussi rapidement et largement que possible - y compris avec les communautés de recherche et de santé publique ainsi qu'avec l'OMS ; -- Les auteurs sont informés sur le fait que les données ou les preprints partagés avant la soumission ne préjugeront pas de leur publication dans ces revues.

Voici quelques sites de revues, sans citer OMS et autres instituts de recherche : Les revues du groupe Lancet, le hub Coronavirus de CellPress, le NEJM avec son espace Covi-19, le JAMA avec Coronavirus disease 2019 (Covid-19), le BMJ, qui reçoit moins d'articles originaux maintient les news,.. Nature et Science ont beaucoup d'articles, sans avoir dédié un espace de leur site au Covid-19. D'autres revues ne sont pas dans la course, Annals of Internal Medicine, Journal of Virology mais auront de meilleurs articles dans quelques mois.

 

Vérifier les articles avec l'objectif de rechercher les manques d'intégrité : une checklist utile et testée

A première vue, je n'étais pas convaincu... mais à la relecture, je pense que cette initiative est intéressante, d'autant plus que ce sont de bons auteurs. Ils ont développé une checklist appelée REAPPRAISED avec l'objectif d'aider lecteurs, rédacteurs de revue et tous ceux qui évaluent des articles afin de détecter des signes de manque d'intégrité. La checklist tient sur une page de l'article de Nature paru le 7 janvier 2020. L'un des auteurs, Andrew A Klein, de Cambridge, UK est rédacteur en chef d'Anesthesia qui reçoit 1000 soumissions par an. Il a testé cette checklist avec succès. En deux ans, la revue a identifié 42 problèmes sérieux... avec des inventions de données pour certains, etc.  Dans un autre environnement, 29 rétractations ont suivi l'utilisation de la checklist. Il faut probablement du temps, plus de 30 minutes, pour l'appliquer à un article.

Tous les items ne sont pas adaptés à toute publication. L'article de Nature explique le développement de cet instrument, et la checklist tient sur une page avec le détail des 11 items :

Research governance; Ethics; Authorship; Productivity; Plagiarism; Research conduct; Analysis and methods; Image manipuation; Statistics and data; Errors; Data duplication and reporting.

L'évaluation des chercheurs : les 5 principes de Hong Kong peuvent être mis en oeuvre avec succès

J'ai déjà présenté ces principes de Hong Kong en octobre 2019. La version 2 de ce preprint est du 23
novembre 2019. L'intéressant, ce sont les exemples de mise en oeuvre. Cela valide ces principes car ils sont adapté à la pratique. Les 5 principes ont été repris sur un poster BRAVO. Voici ces 5 principes résumés, et les exemples sont dans le preprint et le poster ci-dessous :

1. Évaluer les chercheurs sur des pratiques responsables ......
2. Valoriser l'exactitude et la transparence des rapports de toutes les recherches, ...
3. Valoriser les pratiques de la science ouverte (recherche ouverte) .....
4. Valoriser un large éventail de recherche comme la réplication, etc....
5. Valoriser une gamme d'autres contributions à la recherche ...comme l'examen par les pairs pour les subventions et les publications, le mentorat, la sensibilisation et l'échange de connaissances.

Un candidat pour rentrer dans le club fermé des 100 rétractations ! Il n'en a que 17 pour l'instant

L'histoire semble affolante pour ce chercheur dont 150 études sont sous investigation de son université. Les détails sont dans The Scientist du 10 février 2020 et dans Nature du 7 février 2020. Il s'agit de la recherche dans le domaine de l'écologie, portant sur les araignées. Cela a commencé à l'université Hamilton au Canada, et le chercheur s'appelle Jonathan Pruitt. Histoire complexe car la fraude n'est pas certaine, mais des données ont été inventées semble-t-il...  Quand même 17 articles déjà rétractés ou en voie de l'être...  Pruitt se défend..

L'extraordinaire de ce cas, c'est la mise en ligne d'un tableau excel avec tous les articles sous investigation de cet auteur. Pour certains articles aucune anomalie, mais pour d'autres il y a déjà des rétractations. Ce tableau excel, peut être complété par la communauté des chercheurs, et il précise : La motivation première de cette page est d'identifier les documents qui ont été vérifiés et qui n'ont pas de défauts discernables dans les données ou les analyses qui nécessiteraient une correction ou une rétractation, ce qui permet de maintenir la confiance dans le document publié. La rétractation de certains articles ne doit pas être utilisée comme une justification pour rejeter tous les articles d'un auteur donné.

Je remercie Alison Clayson

Small versus big data : pas mieux ! Le cheery-picking toujours la norme ?

Lors de la conférence de JPA Ioannidis à l'Académie nationale de médecine (Projet MIROR, décembre 2019), il a utilisé deux diapos reproduites ci dessous, à méditer... Son message est qu'après des années de publication d'études avec de petits échantillons (diapo 10), nous pensons avoir une solution avec les big data (diapo 12)... mais nous entrons dans une ère qui n'apportera peut-être pas les solutions espérées. les biais sont probablement voisins entre smaill et big data. Le cherry-picking est toujours la pratique des chercheurs qui choisissent les données qui les arrangent !