Rédaction Médicale et Scientifique

Les leçons de l’affaire Séralini / OGM : comment publier des recherches sans conclusion (voire fausses) ?

Cette histoire (plutôt triste) a donné lieu à une évaluation, avec recul, par un sociologue des NIH aux USA. David Resnik a publié un long article le 25 avril 2015 dans J Agri Environ Ethics. Analyse bien faite et intéressante. La publication, la rétractation puis la republication de l’article « Long term toxicity of a Roundup herbicide and Roundup-tolerant genetically modified maize » pose de très nombreuses questions sur le fonctionnement de la science et son évaluation. Nous avons évoqué ces pratiques bizarres à la fois par l’équipe de chercheur et par les rédacteurs et reviewers des revues concernées. L'article princeps a été rétracté, puis cet article, 'probablement faux', a été republié par une revue complaisante ! Scandale.

L’article de Resnik se lit comme un roman et permet de réfléchir. Après une introduction générale sur les publications, et le rappel des données, Resnik discute les critiques de l’étude et liste : 1) Small sample size ; 2) Poor choice of laboratory animals ; 3) Flawed statistical analysis ; 4) Lack of experimental details ; 5) Lack of access to supporting data ; 5) Improper pathological analysis ; 6) Inadequate discussion of prior research on the safety of GM foods ; 7) Unethical treatment of animals. Cela fait beaucoup… Ensuite, les réponses de GE Séralini sont exposées, certaines de mauvaise foi (il donnera ses données sources quand les industriels le feront !) car universitaires et industriels se battent sur des opinions, pas sur des faits ! Je passe aussi sur les liens d’intérêts divers et lobbies….

Resnik fait ensuite une analyse des leçons pour les rédacteurs car il ne prétend part arbitrer les acteurs, et il a raison (tous de mauvaise foi). Fallait-il rétracter cet article en l’absence de fraude ou de malveillance ? Fallait-il une ‘expression  of concern’ bien détaillée ? Il examine en détail les faits avec les recommandations de COPE et sa conclusion : Les rédacteurs avaient le choix de ne pas rétracter ou de rétracter avec des raisons valables selon COPE, du type ‘violations of animal welfare guidelines or serious flaws in the research design that undermined the reliability of the study’.

Le plagiat sur France Culture en juin 2015 : trop de tolérance du milieu universitaire qui couvre des plagiats...

Bonne émission sur France Culture le 19 juin 2015 sur le plagiat des écoles jusqu'à l'université. Vous pouvez écouter cette émission de 59 minutes (plagiat jusqu'à 44 minutes). Les définitions, les cas de plagiat, les causes et la détection du plagiat sont discutés.

Présentation du plagiat à l'école avec des témoignages. Parmi les témoignages, remarquons Jean Noël Darde, auteur du blog Archéologie du "Copier Coller". Vers 30 minutes, vous apprendrez ce que sont les articles d'agrégation dans les sites grand public : ces article sont pleins de liens pour une lecture 'plurielle de l'information' mais il faut toujours identifier qui 'parle'. Il faut une grande maturité pour faire du copier coller intelligent. Réponse de JN Darde à 32 min 15... ce n'est pas du plagiat car on ne fait pas croire que tout ce qui est dit 'j'en suit l'auteur''. Quand on cite les sources, ce n'est plus du plagiat.

33 min 40 : JN Darde explique un plagiat d'une thèse à la Sorbonne (sur le poête André Du Bouchet) avec 20, 40 ou plus de plagiés... Puis un autre exemple... où la plagiaire remercie un directeur de thèse complaisant qui n'avait aucune compétence sur le sujet de la thèse... Ce choix a permis la supercherie... Est-ce que les jurys lisent les thèses ? pas de réponse...

37 min 30 : les logiciels...  la thèse avec 50 plagiés n'est pas identifiée par le logiciel... Remplacez les blancs par des lettres balches et le logiciel est plagié.... A Paris 8, les étudiants ont accès au logiciel et peuvent tester leur thèse avant soutenance... puis la bricoler pour que le logiciel soit trompé....

39 min 40 : il faudrait sanctionner les thèses plagiaires Le scandale ce ne sont pas les plagiaires mais la non-réaction des instances universitaires

Ceci a été illustré par la section disciplinaire de l’université Paris 5 – René Descartes qui a acquitté Mme Marchal-Sixou de plagiat de sa thèse, la veille du procès en appel. Voir les commentaires sur le blog Archéologie du Copier Coller ! C'est scandaleux....

Un bon commentaire de Mme Maurel-Hindart, spécialiste du plagiat.

Des prédateurs dangereux : Journal of Infectious & Non Infectious Diseases, The Journal of Chest

Les truands ont de l'imagination, mais ne sont pas toujours des scientifiques.. Ils inventent des revues, des comités de rédaction et publient les articles d'auteurs qui payent quelques dollars (50 à 200 ?). Ce titre est intéressant, car manifestement ils doivent accepter de nombreux thèmes...  Allez lire : The Journal of Infectious and Non Infectious Diseases is dedicated to the publication of high-quality preclinical, clinical (all phases), observational, health outcomes research around the revelation, development and use of infectious disease therapies for treatment. The journal is of interest to a wide group of onlookers of pharmaceutical and healthcare professionals and appeals to worldwide gathering of people for the prevention and control of diseases.   Et cela continue sur leur site. C'est édifiant, car ils savent tout faire, et cela continue sur leur site.

Le blog de Jeffrey Beall liste ce type de prédateurs, et il en a de plus en plus . Probablement plus de 600 entreprises qui publient de 5 à 50 ou plus revues.......

Un autre prédateur a clairement l'objectif de gêner Chest (il s'agit alors d'un pirate) : il s'agit de The Journal of Chest. Voici leur site : "The Journal of Chest on the open access platform after a thorough peer reviewing process. The journal accepts research articles, reviews and short communication that cover various aspects of the chest disorders including: Antithrombotic therapy, Asthma, Cardiovascular disease, Pulmonary diseases and medicine, Signs and Symptoms of Chest diseases, etc. Open access is an innovative publishing platform in which all articles published in this journal will be accessible online, to anyone, anywhere in the world, completely free of charge. Articles once submitted to the journal are peer-reviewed wisely. Once accepted, articles are then proof-read for publication. Un tissu d'inepties.. Cette revue demande 300 € aux auteurs pour accès libre (100 € pour accès payant !!) et parmi les institutions qui adhèrent, il y a l'Inserm....  J'en doute... Le charabia sur les APCs (Article Processing Charges) est un rideau de fumée pour chercheurs naïfs..

Merci à Eric Caumes pour J of Infectious & Non Infectious Dis !

Dispositifs médicaux : la moitié des essais soumis à la FDA ne seraient pas publiés ! Parmi ceux qui sont publiés, la population d’étude, les critères de jugement diffèrent de ceux du dossier FDA !

La science est malade : nous savons que pour les médicaments, il existe des différences entre les données publiées dans des articles et les données soumises aux autorités de santé… Eh bien, c’est pareil (voire pire) pour les dispositifs médicaux. Cette étude américaine publiée dans le BMJ le 10 juin 2015 a analysé les publications pour des stents coronaires et des défibrillateurs implantables…     Les méthodes, bien décrites, montrent la difficulté pour obtenir les données FDA des dossiers d’enregistrement des dispositifs médicaux, ainsi qu’auprès des industries (8 des 23 interrogées ont répondu). Un éditorial accompagne cet article.

106 dispositifs cardiovasculaires ont été approuvés par la FDA entre le 1 janvier 2000 et le 31 décembre 2010. Il y a eu 177 études déposées à la FDA, dont 86 (49 %) ont été publiées. Les auteurs ont recherché correctement les publications jusqu’au 1 janvier 2013. Ils ont comparé les résumés FDA avec les publications. Ces 86 publications correspondaient à 60 dispositifs. Pour 22 (26 %) des 86 études le nombre de participants différait de celui dans les dossiers FDA. Plus inquiétant, parmi les 152 critères principaux de jugement qui étaient dans les documents FDA :

• 3 (2 %) étaient devenus des critères secondaires dans les publications ;
• 43 (28 %) n’étaient plus qualifiés de critère principal ;
• 15 (10 %) n’étaient pas dans les publications.

Comparons les résultats principaux des essais :

Si le peer review était un médicament, il n'aurait pas son autorisation de mise sur le marché.... Préparez le 8ème congrès du peer review

La charge est ancienne, et vient à nouveau de Richard Smith, ancien rédacteur en chef du BMJ, et auteur d'un ouvrage majeur 'The trouble with medical journals' publié en 2006, et que tout bon rédacteur devrait avoir lu. C'est le 28 mai 2015 dans THE (Times Higher Education) que R Smith publie son opinion, avec pas mal de bons commentaires de lecteurs.

Le prochain congrès du Peer Review des publications biomédicales est annoncé pour septembre 2017. C’est le congrès de recherche sur les publications le plus important. L’appel à contributions a été publié dans le JAMA le 26 mai 2015. Il sera organisé par JAMA et BMJ à Chicago (comme la plupart de ces congrès). Il s’agit du 8^ème congrès depuis le premier en 1986. Ce congrès sera organisé en collaboration avec le réseau EQUATOR, et avec METRICS (qui tient son premier congrès fin 2015).

• EQUATOR (Enhancing Quality and Transparency of Health Research) est le réseau qui collecte les lignes directrices pour écrire des manuscrits, et il y a 276 recommandations avec leurs liens. EQUATOR est promoteur du congrès sur le gaspillage de la recherche fin septembre à Edinburgh.
• METRICS (Meta-Research Innovation Center at Standford)

Les organisateurs encouragent les chercheurs pour débuter ou continuer les recherches dans les domaines du congrès (voir image) qui sont :

• Les biais
• Les responsabilités éditoriales et celles liées aux décisions du peer review
• Recherche dans le domaine de l’éthique des publications
• Evaluation et mécanismes pour améliorer les rapports de recherche
• Les modèles de peer review, et de publications scientifiques
• Dissémination de l'information

Rétractation d'un article qui faisait croire que c'était un essai clinique randomisé, d'un autre 'publié par erreur'... étonnant !

Je ne rends compte que de quelques cas de rétractations qui méritent discussion. Celui-ci est d'un nouveau genre : rétractation en mai 2015 d'un article de 2012 (JBJS, bonne revue) qui dans le résumé faisait croire qu'il s'agissait d'un essai randomisé double aveugle. Ce n'était pas vrai ! Dans le résumé de l'article, il y a "conducted a randomized, double-blind study on forty Achilles tendons inthirty-two patients". Mensonge, car l'article n'est pas clair du tout... La notice de rétractation est merveilleuse :"The study was initially misclassified as  clinical trial by Dr. Connell, in error, and this error was ......  Thus, the ethics approval for this study that was given by the Joint RNOH/IOMS Research Ethics Committee was issued in error." Etonnant, le comité d'éthique a fait l'erreur de croire que c'était un essai randomisé ??? Pas clair, pas clair....

Certaines rétractations sont incroyables et pas claires, comme un autre article retiré de la littérature car il avait été publié par erreur !!!

Merci à Ivan Oransky et Adam Marcus (RetractionWatch) qui préparent une base des rétractations. En juin 2015, la liste des chercheurs ayant eu le plus de rétractation était la suivante :

1. Yoshitaka Fujii (total retractions: 183)
2. Joachim Boldt (89)
3. Peter Chen (60)
4. Diederik Stapel (54)
5. Shigeaki Kato (36)
6. Hendrik Schön (36)
7. Hyung-In Moon (35)
8. Naoki Mori (32)
9. Scott Reuben (22)
10. John Darsee (17)

Any accounts of the John Darsee story cite 80-plus retractions, which would place him third on the list, but Web of Science only lists 17, three of which are categorized as corrections. That’s not the only discrepancy. For example, Fujii has 138 retractions listed in Web of Science, compared to 183 as recommended by a university committee, while Reuben has 18, compared to the 22 named in this paper. We know that not everything ends up in Web of Science — Chen, for example, isn’t there at all — so we’ve used our judgment based on covering these cases to arrive at the highest numbers we could verify.

Les facteurs d'impact 2014 sont arrivés le 18 juin : gagner 0,002 est un succès... mais 39 revues éjectées pour auto-citation

Comme chaque année, fin juin voit tous les comités de rédaction s'enthousiasmer ou pleurer après la réception du facteur d'impact de leur revue... Cet indicateur, calculé pour 11 149 revues, a 3 décimales après la virgule, et passer de 3,014 à 3,021 est un grand succès, mais 2,999 est un échec....   Mais la comparaison avec les revues 'amies' est intéressante et gagner 0,005 par rapport à un concurrent est fantastique... Quelle tristesse ! En pratique, 53 % des revues ont eu un facteur d'impact en augmentation... Bonne analyse par Phil Davis sur Scholarly Kitchen. Ce billet explique les nouveaux indicateurs de Thomson : JIF percentile et Normalized Eigenfactor score...

Cette année 39 revues n'ont pas eu de facteur d'impact car leur taux d'auto-citations était un peu élevé.. C'est gentil.. Parmi ces 39, pour 29, c'étaient les auto-citations (la revue se cite) et pour 10, c'était une pratique appelée 'cartel des citations' (tu cites ma revue dans la tienne, et je cite la tienne dans ma revue). Si vous regardez la liste des 39, vous verrez que ce sont des taux d'auto-citations supérieurs à 50 %, ce qui laisse de la marge aux revues qui pratiquent ce sport (demander aux auteurs de citer votre revue lors de l'avis de lecture..). Ces revues sont contrôlées pour voir si cela disparaît pour donner un facteur d'impact dans quelques années.

N'oubliez pas que DORA est un système plus intelligent pour évaluer les recherches.. comme le suggère le rédacteur en chef de PNAS dans un éditorial de juin 2015 : "Impact, not impact factor", et le rédacteur en chef de The EMBO journal (8 juin 2015) : "DORA the brave"

La moitié des articles scientifiques sont publiés par moins de 10 grandes maisons d'éditions

Nous avons déjà analysé des données du rapport STM 2015 dont la conclusion était : '10 maisons d'édition publient 42,5 % des 28 000 revues scientifiques à comité de lecture'. C'était en nombre de revues, qu'en est-il en nombre d'articleS ?

Dans PLOS ONE du 10 juin 2015, des auteurs canadiens ont analysé 45 millions de documents indexés dans Web of Science entre 1973 et 2013. Le titre : The oligopoly of academic publishers in the digital era. C'est beaucoup 45 millions (environ 1 million par an car il y a 40 ans dans la période d'analyse), surtout si ces articles contiennent tous des innovations..... Cet article n'est pas bien écrit, avec des mélanges permanents de méthodes, résultats et de la discussion. Des imprécisions permanentes (la figure 1 évoque 5 maisons d'éditions dans la légende alors qu'il y en a 6 dans la figure !). Dommage, surtout quand PLOS ONE dit ne publier que des articles 'technically sound' dans ses 'criteria for publication'...  passons, et essayons de voir quelques messages...

Le résultat principal, probablement vrai, est de constater une concentration des revues chez les grands éditeurs (voir image ci-dessus). Cette concentration est récente : en NMS (Natural and Medical Sciences), 5 éditeurs concentraient 20 % des articles en 1973, 30 % en 1996, et 53 % en 2013. On perçoit trois opinions des auteurs de ce travail :

Allez à Toulouse le 9 octobre 2015 pour un super atelier sur les bonnes pratiques en recherches sur les bioressources

Quel plaisir que de voir des initiatives rédactionnelles internationales portées par des françaises, dont Laurence Mabile, qui ont publié CoBRA. Voici l'email que j'ai reçu (et le programme ici) :

Dear editor or reviewer,

Following a  work we presented at the 7th International Peer Review Congress in Chicago on september 2013,  we published ............ Developing a guideline to standardize the citation of bioresources in journal articles (CoBRA). .....................and we are organising a one day-workshop called 'EDITORS AS PROMOTERS OF GOOD PRACTICES IN BIORESOURCE RESEARCH' that may be of interest for you. It will be held in Toulouse, France on October 9, 2015. 

Should you have any questions, please let me know.
Kind regards,
Laurence Mabile
P.S: workshop registration is required

Ce sera SUPER....

L’enregistrement des protocoles de recherche avant publication devient fréquent, mais il faudrait aussi que cet enregistrement soit fait avant le début de l’essai pour éviter le HARKing

Lors du congrès sur l’intégrité de la recherche, deux rédacteurs (Londres) de revues du groupe BMC (BioMed Central, groupe Springer) ont analysé l’enregistrement de protocoles de recherche (poster).

Ils ont inclus les 117 essais cliniques publiés en 2013 dans 22 revues « BMC series », et ont classés les articles en 3 catégories selon la date d’enregistrement du protocole. Voici les résultats :

• 33 protocoles ont été enregistrés avant le début de l’essai clinique,
• 74 protocoles ont été enregistrés rétrospectivement, c’est-à-dire après le début de l’essai, mais avant la soumission du manuscrit à la revue (médiane 473 jours, extrêmes 5 – 2164),
• 6 protocoles ont été enregistrés rétrospectivement, c’est-à-dire après le début de l’essai, mais après la soumission du manuscrit à la revue,
• 4 n’ont pas été enregistrés.

Qu’en penser ? La plupart des essais sont enregistrés après le début de l’essai (80 / 117)… ce qui n’est pas satisfaisant. Mais on peut voir le verre à moitié plein en disant que seuls 4 protocoles n’ont pas été enregistrés ! Faut-il accepter la publication de manuscrit dont les protocoles n’ont pas été enregistrés prospectivement ? Les rédacteurs n’ont pas le choix !

Pourquoi les protocoles sont enregistrés avec retard ? Parce que les chercheurs ne savent pas qu’il faut enregistrer les protocoles ? Parce que les chercheurs au courant de l’enregistrement pensent que leur étude ne nécessite pas que le protocole soit enregistré ? Parce que les chercheurs veulent éviter de prendre un risque de publier des résultats négatifs, et se réservent le droit d’adapter le protocole après avoir eu les résultats ? Il s’agit de la technique dite du HARKing (Hypothesizing After the Results are Known).

Harriman SL, Patel J. Analysis of prospective versus retrospective trial registration. World Conference on Research Integrity. Rio de Janeiro, 2015: May 31-June 3.

Une revue française piratée avec des articles en anglais : Fourrages a été ajoutée à la liste des pirates de J Beall

J’ai été interrogé par Jeffrey Beall qui tient un registre des revues prédatrices et des revues prises en otage. Il suspectait que la revue Fourrages, publiée par L'Association Française pour la Production Fourragère, avait été piratée, copiée et prise en otage par des prédateurs. A première vue, j’ai eu du mal à voir la supercherie. J’ai cru, à tort, qu’il s’agissait de la version anglaise de Fourrages, sans que les liens entre les versions françaises et anglaises soient explicites....  Investigation et confirmation : Fourrages a été ajouté le 15 juin 2015 à la liste des Hijacked Journals.

La rédaction de Fourrages a confirmé avoir suspecté cette supercherie depuis quelques semaines. Je n’avais pas vu des choses simples : la rédactrice en chef, Françoise Vertes, est devenue Françoise Green dans la version anglaise ! S'appeler Vertes ou Green est vraiment super pour la revue Fourrages ! Les articles de la version anglaise ne sont pas ceux, traduits, de la version française. Comparez entre la vraie revue Fourrages, et la revue des pirates (en anglais)... (note du 15 décembre 2016 : la revue anglaise a disparu et le lien ne marche plus... J'ai les copies d'écran de la revue anglaise) vous serez étonné. La revue pirate, appelée Fourrages aussi, avec les mêmes couleurs, contient beaucoup d'articles.. d'où viennent-ils ? (note du 11 janvier : j'apprends par J Beall qu'il existe un moyen de rechercher les archives déconnectées avec le lien https://web.archive.org/web/20160307182539/http://agriturismosi.com/).

Que faire ? Fourrages a alerté son hébergeur, mais que peut-il faire ? Rien.. Ils vont écrire aux pirates, mais ce sera difficile. L’objectif des pirates est uniquement de faire un peu d’argent en piégeant des auteurs naïfs qui soumettront des articles qui seront acceptés très vite, après un supposé peer review. Si ces pirates se sentent menacés (situation très rare), ils changent immédiatement leur système, et les identifier est presque impossible.

Ce n'est pas la première revue française piratée.

Note du 31 janvier 2020 : la première revue anglophone pirate décrite ci-dessus, qui a disparu fin 2016 environ, rien ne s'est passé jusqu'à fin 2019... Puis nouveau piratage de Fourrages décrit dans ce billet de janvier 2020.

Un phénomène mal exploré : les comités de rédaction qui publient facilement dans leur revue ! Quelle fréquence ?

Le peer review, ou relecture par les pairs, sert à valider les travaux avant publication..  mais le peer review dysfonctionne ! Parmi les singularités mal explorées : "est-ce que les rédacteurs en chef, les membres des comités de rédaction publient plus facilement dans leur revue, voire dans la revue d'amis rédacteurs en chef ?". La réponse semble être OUI dans la plupart des cas. Quelques revues auraient une procédure pour prise en charge de ces articles, mais beaucoup de comités traitent cela en famille : je te relis ton article et tu reliras le mien, et ainsi un peer-review existe !

Ivan Oransky, sur le blog RetractionWatch le 8 avril 2015, cite le témoignage d'une chercheuse dans le domaine de l'autisme avec des noms de revues qui acceptent en 48 heures les articles du rédacteur en chef ou d'autres membres des comités.. sur son blog, elle cite un auteur (rédacteur d'une revue) dont 32 articles ont été acceptés en 1 jour (domaine de l'autisme), et d'autres auteurs qui se sont cités entre eux pour faire monter leur H index......et les commentaires sont très explicites.... Semble assez répandu dans la plupart des disciplines.... Il existe des clubs de reviewers.... Parmi les 400 chercheurs qui publient le plus, la plupart sont rédacteurs en chef ou membres de plusieurs comités de rédaction... Nous n'avons pas de données factuelles sur ce phénomène.... 

Vous êtes BMJ ou NEJM pour accepter des manuscrits d'auteurs ayant des liens avec l'industrie ? The Lancet nous dit qu'un juste milieu existe...

Nous avons exposé les 3 articles et l'éditorial du NEJM sur les politiques des liens d'intérêts dans les revues biomédicales. Après avoir exposé la possibilité de travailier avec l'industrie, le NEJM a proposé aux visiteurs de leur site de voter. Au 11 juin 2015, il y avait 1789 répondeurs et les résultats étaient : oui à 73 % pour le cas 1, oui à 66 % pour le cas 2 et oui à 15 % pour le cas 3 (j'ai copié les 3 cas dans le billet du 27 mai cité ci dessus).

Est-ce que l'enquête donne raison au NEJM ? Oui, mais en gardant raison pour écarter des auteurs qui auraient trop d'intérêts...Les lecteurs acceptent des articles de leaders qui travaillent avec l'industrie...  il faut du tact...

Le BMJ qui a instauré une politique ferme de ne pas accepter d'éditoriaux et d'articles pédagogiques d'experts ayan des liens d'intérêts a répondu au NEJM le 2 juin 2015. En fait, un éditorial signé de 3 anciens rédacteurs séniors du NEJM réfute les arguments des articles du NEJM. Ils regrettent que le NEJM qui a été la première revue à contrôler les liens d'intérêts puissent revenir en arrière. C'est une guerre d'opinions, et certains arguments sont fallacieux des 2 cotés. Un autre éditorial de la rédactrice en chef est moins agressif, reconnait les facteurs positifs de l'industrie, mais défend avec fermeté la politique du BMJ de refuser des éditoriaux et articles didactiques d'auteurs ayant des liens.

C'est ensuite le 6 juin que R Horton, rédacteur en chef du Lancet revient sur la question. Que dit-il ? 1) il fût un temps où travailler avec l'industrie était bien vu, et il donne des exemples ; 2 ) la riposte du BMJ est agressive, et il cite des termes violents dans Thebmj pour attaquer le rédacteur en chef du NEJM et l'auteur des 3 articles ; 3) il donne ses positions, et surtout il suggère qu'il existe un juste milieu : 'The truth is likely to lie somewhere between these extremes. It's time we found it.'

Je ne vous liste pas tous les blogs qui chauffent sur ces 3 articles du NEJM et déclenchent des passions de tous genres. Restons calme et cherchons les faits. Comme R Horton, je crois que le juste milieu existe, mais les parts de voie sont inégalement réparties avec des loups qui hurlent dès qu'un expert travaille avec l'industrie...   Comment l'industrie qui développe des produits de santé pourrait-elle avoir accès aux patients sans passer par des experts ?

Horton R. The BMJ vs NEJM -- Lessons for us all. The Lancet 2015, June 6;385:2238.

Loder E, Brizzel C, Godlee F. The New England Journal of Medicine goes on an ill advised journey. BMJ 2015;350:h2957

Steinbrook R, Kassirer JP, Angell M. Justifying conflicts of interest in medical journals: a very bad idea. BMJ 2015;350:h2942.

 

Les nouveaux indicateurs basés sur les médias sociaux donnent des informations non comparables aux facteurs d'impact

Il est possible que tous ces indicateurs de type Almetrics ou Altmetrics remplacent le vieux et obsolète facteur d'impact, mais attention, attention. Ce travail est énorme, et il m'a fallu 2 heures pour comprendre ; il a été publié par des canadiens dans PLOS ONE le 17 mars 2015. Ils ont analysé les données de 1 339 279 articles publiés en 2012, et ont pris les données de citations et de discussions sur les réseaux sociaux jusqu'à fin 2013. Cet article a beaucoup, beaucoup de données, et je retiens un extrait du tableau 1, et je traduis en français le résumé. 

Cet extrait du tableau 1 porte sur les 1,3 millions d'articles 2012 (sur le tableau complet, vous avez ensuite les données pour 5 domaines scientifiques dont health sciences) ; il s'agit des moyennes et écart-types pour PG (number of pages), NR (number of references), TI (number of characters in title), AU (number of authors), IN (number of institutions), CU (number of countries dans les adresses des auteurs), C (nombre de citations avant fin 2013), SC (nombre d'auto-citations avec auteurs en commun entre l'article et les références), B (scholarly blogs posts monitored by Almetric.com), T (number of unique Twitter users), F (Facebook shares), G (Google+ mentions), M (news and mainstream media outlets). Contemplez ces données, et qu'en penser ?

Résumé traduit plus ou moins bien : Un certain nombre de nouvelles mesures sur la base des plateformes des médias sociaux regroupés sous le terme «altmetrics" -ont récemment été présenté comme des indicateurs potentiels de l'impact de la recherche. Malgré leur popularité actuelle, nous manquons d'information sur les déterminants de ces indicateurs. En utilisant les données de publication et de citation de 1,3 million d'articles publiés en 2012 et couverts dans le Web of Science de Thomson Reuters ainsi que nombre de médias sociaux de Altmetric.com, nous avons analysé les principaux modèles de cinq indicateurs de médias sociaux en fonction des caractéristiques du document (i.e. la discipline, le type de document, la longueur du titre, le nombre de pages et le nombre de références) et les pratiques de collaboration pourles comparer aux modèles connus pour les citations. Les résultats ont montré que la présence des articles sur les médias sociaux était faible, avec 21,5 % d'articles ayant eu au moins un tweet, 4,7 % étant partagés sur Facebook, 1,9 % mentionnés sur les blogs, 0,8 % sur Google+ et 0,7 % discutés dans les médias traditionnels. En revanche, 66,8 % des articles avaient eu au moins une citation. Nos résultats ont montré que les citations et les mesures des médias sociaux augmentaient avec l'ampleur de la collaboration et la longueur de la liste des références. D'autre part, tandis que des éditoriaux et des articles d'actualité étaient rarement cités, ce sont ces types d'articles qui étaient les plus populaires sur Twitter. De même, alors que des articles plus longs attirent généralement plus de citations, une tendance inverse a été observée sur les plates-formes de médias sociaux. Enfin, contrairement à ce qui est observé pour les citations, des articles dans les sciences sociales et humaines étaient souvent discutés sur les plateformes des médias sociaux. Dans l'ensemble, ces résultats suggèrent que les facteurs qui orientent les médias sociaux et les citations sont différents. Par conséquent, les mesures de médias sociaux ne peuvent pas réellement être considérés comme des alternatives aux citations ; tout au plus, ce sont des compléments à d'autres types d'indicateurs.

Merci à Valery Ridde

Haustein S, et al. Characterizing social media metrics of scholarly papers: the effect of document properties and collaboration patterns. PLOS ONE

PRISMA-IPD est bienvenu : lignes directrices pour écrire les articles des revues systématiques et méta-analyses faites à partir des données individuelles des patients

La plupart des revues systématiques et méta-analyses sont faites sur des données agrégées à partir des publications...  drôle quand on sait que peut-être 50 % des publications seraient 'fausses', que 75 % sont probablement 'embellies', et que au moins 50 % ne sont pas reproductibles...  Marrant car on continue à en faire. Des revues systématiques et méta-analyses sur les données individuelles des patients seraient de meilleure qualité (hypothèse), mais quel boulot car au lieu de télécharger des pdf, les auteurs doivent demander et obtenir les données individuelles des patients....

Les rédacteurs de PRISMA (Preferred reporting items for a systematic review and meta-analysis) ont adapté les lignes directrices aux 'Individual Participant Data' et on obtient PRISMA-IPD publié dans JAMA le 28 avril 2015. La check-list de PRISMA-IPD a en fait 3 items de plus que PRISMA.

Un éditorial accompagne cette publication pour attirer l'attention sur CONSORT, STARD, REMARK, CHEERS, ARRIVE, SPIRIT, etc...  allez découvrir sur EQUATOR, Urgent !

C'est un truc pour spécialistes et pour des équipes qui sont capables de faire ce type de travail....  combien d'équipes dans le monde peuvent bien faire des méta-analyses sur données individuelles ? Je parie pour 50 à 100 : votre avis ?

Stewart LA, et al. Preferred reporting items for a systematic review and meta-analysis of individual participant data. The PRISMA-IPD statement. JAMA 2015;313(16):1657-1665.

Golub RM, Fontanarosa PB. Researchers, readers, and reproting guidelines. Writing between the lines. JAMA 2015;313(16):1625-1626.

Encore 20 000 patients ont participé à des essais cliniques dont les résultats n'ont jamais été publiés

C'est commun et décourageant...  mais souvent ce sont des centaines de milliers de patients. Pourquoi si peu dans cette étude ? Parce qu'elle est bien faite et ciblée sur 34 médicaments qui ont eu au moins une étude de phase 3 entre 2005 et 2009 dans 3 domaines (cancer, cardiovasculaire et neurologie). Les données sont très nombreuses et cette étude a comparé avec 25 médicaments ayant été enregistrés (mêmes domaines, mêmes années...). Travail publié dans BMJ le 9 mars 2015 par des canadiens.

Une phrase mérite citation "Non-publication also fails to honour the sacrifice of patients who participate in such studies".

Les taux de publication étaient de 75 % (72/96) pour les essais des 25 médicaments enregistrés (49 000 patients), et de  37 % (30/81) pour les médicaments non enregistrés (62 000 patients). NO COMMENT, et d'ailleurs les essais des médicaments enregistrés ne sont pas tous publiés....

La discussion est intéressante, car ce ne sont pas que des réflexions éthiques....   On pourrait dire que ces publications n'ont pas d'intérêt, mais 4 réponses sont suggérées : 1) la discordance entre les essais précliniques positifs, les premiers essais cliniques encourageants et les essais négatifs est informative sur nos processus de recherche ; 2) des informations pour d'autres médicaments de la classe sont utiles, y compris pour protéger des patients participants à d'autres essais ; 3) certains de ces médicaments peuvent être plus tard développés dans d'autres indications, et ces informations d'essais dits négatifs sont informatives ; 4) des médicaments non enregistrés aux USA peuvent l'être dans d'autres pays, etc...

Et aussi, ce sont des données utiles pour des revues systématiques...

Hakala A, et al. Accessibility of trial reports for drugs stalling in development: a systematic assessment of registered trials. BMJ 2015;350:h1116.

Trop de biais dans les revues systématiques sur les recherches animales... Danger car ces études bidouillées donnent les hypothèses pour les études humaines

C'est inquiétant car la qualité des articles dédiés aux recherches animales semble mauvaise en général (PLOS ONE décembre 2014). Des auteurs allemands, canadiens et suisses ont fait un énorme travail en analysant  512 revues systématiques sur des recherches animales (ils en ont analysé en fait 246, et ont utilisés des analyses existantes pour arriver à 512 revues systématiques). On pourrait croire que les revues systématiques sont rigoureuses, mais NON, NON, et NON !! La recherche documentaire de ce travail de PLOS ONE semble bien faite.

En bref : la qualité méthodologique des revues systématiques précliniques est mauvaise. 71 % des revues systématiques n'ont pas évalué la qualité méthodologique des articles inclus dans la revue systématique.... 59 % des revues systématiques expliquaient les critères d'inclusion des articles ; 51 % des études avaient un diagramme de flux des études incluses, ... Fermez le ban, c'est très insuffisant. Et en plus, la plupart des études cliniques utilisent des études précliniques pour justifier leurs hypothèses, et inclure des malades.....

On se demande si ARRIVE, PRISMA, CAMARADES et autres standards pour recherches précliniques ont été utiles pour améliorer la méthodologie des recherches !

Cette publication est l'une d'un large projet de recherche européen OPEN pour To Overcome failure to Publish nEgative fiNdings. Félicitons les auteurs qui ont publié leur protocole.

JAMA Oncology, beau départ pour une compétition qui sera dure face au Lancet Oncology qui a déjà 16 ans

Nous avions annoncé le lancement d'un nouveau JAMA, et nous avons regardé les 2 premiers numéros (avril et mai 2015) : la barre est haute et les compétiteurs vont réagir.. L'éditorial de Marie L Disis est ambitieux en précisant les objectifs, mais peut-être réaliste, compte tenu du mélange d'un savoir faire de la rédaction, d'une marque prestigieuse et d'experts prêt à suivre. Que dit cet éditorial ? Pas que des banalités.

L'objectif est de publier de la recherche de haut niveau et de proposer une formation de haute qualité. Le champ de la revue est large : adulte, enfant, médecine, chirurgie, radiothérapie,... L'objectif est de ne pas dépasser 60 jours entre soumission et décision. La moitié de la revue sera consacrée à la formation, avec un objectif 'evidence-based reviews' et une rédactrice dédiée pour ces articles. Les recommandations complexes seront rendues lisibles avec quelques 'take-home points'... à voir. Déjà sur Facebook, Twitter, etc... Publication online tous les jeudi, mais un numéro papier par mois. Pas d'articles basés sur des résultats de plus de 5 ans, et soumission des essais plutôt dans l'année suivant la fin de l'essai (normal).

Pas de droits pour soumettre, et les premiers numéros sont en accès libre... Cela ne devrait pas durer car la politique hybride est annoncée : il y aura un APC (Article Processing Charge) de $ 5000 pour que les articles soient en accès libre. De toutes façon, tout sera libre après un an. Les instructions aux auteurs sont excellentes... et il faut du temps pour les lire. La checklist avant soumission a 20 points, et il faudra un peu de temps pour répondre à tout....  JAMA Onco donne dans le vert quand Lancet Onco donne dans le rouge, et Lancet Onco a déjà 16 ans....

Attendons les avis des cancérologues et bilan dans 12 à 24 mois.... mais déjà cité dans Le Monde du 3 juin 2014, pour l'article sur l'épidémiologie des cancers... pas besoin de facteur d'impact pour être lu !

Le chocolat fait perdre du poids : article publié mais il s'agissait d'une pêche au P significatif... et l'éthique des journalistes concernés est très discutable

La lecture complète de cette histoire illustre le fonctionnement de notre système : faire le buzz est bien plus important que vérifier les données scientifiques. Johannes Bohannon est un récidiviste car il avait déjà piégé des revues prédatrices qui avaient publié des articles totalement inventés. Heureusement qu'il existe de bons journalistes sachant ce qu'est l'investigation et ses règles...  seraient-ils minoritaires ?

Résumer est difficile : 1) J Bohannon a été contacté par un journaliste allemand qui voulait montrer qu'il était facile de faire de gros titres de journaux à partir de mauvaise science ; 2) ils ont fait une étude de 3 semaines, recrutés des sujets, etc.. avec un médecin, etc...  limite quand même ; 3) ils ont collecté beaucoup de données car le statisticien avait expliqué que c'est la meilleur façon d'avoir un paramètre avec un p < 0,05 ; 4) ils ont écrit un article à peu près correct soumis à quelques revues qui ont toutes accepté très vite ; 5) ils ont choisi une revue en payant les 600 $ demandés ; International Archives of Medicine, une revue anglaise cédée par BMC à un groupe qui publie 8 revues et quelques livres ; 6) ce groupe publie des articles qui semblent à peu près corrects en général... disons qu'il s'agit d'un semi-prédateur ; 7) ensuite, communication aux journalistes allemands et anglo-saxons et bingo... plus que bingo... impressionnant.... de nombreux magazines ont titré sur cette news (y compris de bons magazines)...  piteux, piteux..  pas un journaliste n'est allé voir d'où venaient les auteurs.. ni le site farfelu de l'Institute of Diet & Health ; 8) Carlos Vasquez, responsable de la revue a retiré l'article en disant qu'il avait été mis en ligne par erreur, et seulement quelques heures : faux car un avis de lecture avait été envoyé et l'article est resté en ligne un mois ! 9) vous pourrez lire tous les articles de la grande presse, et consulter RetractionWatch. Les commentaires sont intéressants, en particulier ceux qui critiquent la méthode de ces journalistes : quelle est l'éthique de J Bohannon pour faire cela ? Beau billet à ce propos sur un blog de PLOS....

L'article a été enlevé par la revue, mais J Bohannon l'a gardé pour qu'il soit consulté...  Il est bien construit, bien écrit mais des figures comme celle que j'ai reprise sont douteuses : l'échelle des jours n'est pas très précise !!!!!  et les courbes peu détaillées... je préfère toujours un tableau car les données sont précises dans un tableau !

Le fonctionnement trouble des mégarevues : 31 rédacteurs éliminés brutalement chez Frontiers

La vie des mégarevues est compliquée car il faut un équilibre entre la qualité éditoriale (si elle existe) et l'équilibre économique. Les groupe Frontiers vient de se séparer brutalement de 31 rédacteurs qui n'acceptaient pas le fonctionnement éditorial. J'ai pensé que les revues du groupe Frontiers étaient de bon niveau, mais j'ai peut-être été abusé.... je ne sais pas.

Le licenciement de rédacteurs est souvent controversé, comme ce fût le cas début mai, une fois de plus, pour une bonne revue, Medical Journal of Australia. Le rédacteur en chef était opposé à la reprise de cette revue par le groupe Elsevier, et le comité de rédaction a démissionné. En Australie, il y a eu plusieurs cas de dysfonctionnement de revues biomédicales, dont celui de revues douteuses...

Des rédacteurs de Fontiers in Medicine et de Frontiers in Cardiovacular Medicine se sont plaints d'interférences dans leur décisions éditoriales par les responsables du groupe. L'hsitoire est longue et complexe, et bien résumée dans ScienceInsider du 7 mai 2015. Les rédacteurs ont expliqué leurs critiques dans un manifeste de 13 pages envoyé le 23 mars 2015 à la direction. Les critiques concernaient l'indépendance éditoriale, car manifestement des décisions des rédacteurs ne sont pas appliquées, la vente de Frontiers n'a pas été expliquée correctement, et les recommandations éthiques ne sont pas suivies, et... La lecture de ces 13 pages est ^plutôt inquiétante, et on voit clairement que la stratégie économique du profit des ces mégarevues est prioritaire sur la qualité éditoriale.... ce que l'on comprend quand chaque revue a plus de 150 co-rédacteurs, etc... en bref le fonctionnement de ces mégarevues est très opaque...  Frontiers a répondu très longuement, et dit que le fonctionnement était irréprochable, etc.. classique, et toujours difficile de prendre position quand on est spectateur...

Les propriétaires et fondateurs sont en Suisse, et le plus simple a été de se débarrasser des contestataires.. Circulez....

"Sloppy science is a larger evil than research misconduct", un des messages de la Conférence Mondiale sur l'Intégrité de la Recherche

Nous sommes 4 français parmi les 600+ congressistes qui participent à la World Conference on Research Integrity qui a commencé le 31 mai 2015 au soir..   NO COMMENT! Je participe activement aux ateliers avec des rédacteurs de revues scientifiques... La marge d'amélioration du système est intéressante.

Lors d'une conférence plénière, Lex Bouter (Hollande) a eu la phrase de conclusion qui est dans le titre de ce billet "Sloppy science is a larger evil than research misconduct". Comment traduire 'sloppy' ? peu soigné, débraillé, négligé, imprécis,.....   Il a clairement montré que les mauvaises pratiques étaient répandues, et plus graves que les fraudes (fabrication, falsification, plagiat). Pour lui les déterminants des mauvaises pratiques sont :

• Le système : pression pour publier, hypercompétition et 'low risk - high rewards' ; cette balance entre le risque de n'être jamais puni et le risque de gagner beaucoup (promotion, carrière, financements,...) favorise quelques comportements déviants...
• La culture : les modèles des séniors ne sont pas toujours bons, l'encadrement est insuffisant, absence de formation sur la RCR (Responsible Conduct  of Research), et pas de direction claire !!!
• L'individu : les mauvais comportements sont facilement justifiés, conflits d'intérêts, moralité et traites de caractère....

Parmi les autres présentations, il est clair que la non publication des travaux dits négatifs, la publication sélective de données étaient des pratiques peu défendables. Dans un délai de 3 ans, il semble que 50 % des essais randomisés ne soient pas publiés, et que 50 % des essais publiés n'aient pas de protocole enregistré...

A suivre.......

Les auto-citations fortement suggérées aux auteurs par les reviewers : phénomène fréquent ou pas ? acceptable ?

Cet article de canadiens et hollandais dans "Journal of Psychosomatic Research' me semblait dur à lire (janvier 2015, numéro 1)... mais, avec concentration et une heure, il est très documenté, factuel. Les méthodes sont excellentes, et on sent un travail bien fait qui donne confiance. Ils ont évalué les avis de 526 reviewers ayant évalué 276 manuscrits soumis au J Psychosomatic Research en 2012. Tout est très très détaillé avec de nombreux résutlats. Le message principal, à partir de l'analyse de 616 avis de lecture, est : 

• sur 616 avis, 171 (28 %) contenaient au moins une suggestion de références ;
• il y avait 428 citations avec des références suggérées ;
• 122 des 428 références (29 %) étaient des citations d'articles du reviewer ;
• les références à des articles du reviewer avaient moins de justification rationnelle que les références à d'autres auteurs.... normal !

Cet article est documenté, et c'est la première fois que l'on a des données précises : est-ce généralisable à la biomédecine ? Je ne sais pas ! Il est logique aussi de suggérer des références car le reviewer est choisi pour sa connaissance du domaine...  L'auteur est mis dans une situation délicate : il comprend qu'il faut citer les références suggérées pour que le manuscrit soit accepté.... La discussion de cet article est bien faite.

Merci à Bernard Paquito.. j'ai lu uen revue inconnue pour moi

Voici le résumé :