Nous avons vu hier le principe du PPPR ou Post-Publication Peer Review. Il faut développer une culture pour corriger la littérature, et ceci demande motivation, rigueur des méthodes, et incitatifs divers à mettre en place. Les Journal Clubs existent dans de nombreuses universités, et départements hospitaliers quand les praticiens, les chercheurs et étudiants dédient un temps à la discussion d'un article de la littérature, en général dans le domaine d'intérêt du groupe. Les discussions sont utiles et portent sur les points forts et faibles des méthodes, sur des données possiblement fausses, sur une mauvaise représentation de la littérature, sur des conclusions qui ne peuvent être proposées à partir des résultats, etc…. Toutes ces idées sont utiles, riches, même si elles paraissent trop critiques, en mettant insuffisamment en valeur les points forts. Cela dépend du groupe, du contexte, etc… Le problème est que, la réunion finie, rien n'est écrit et tout part aux oubliettes !
Vous trouverez de nombreuses descriptions des méthodes des Journal Clubs, qui sont insuffisamment développés. Je vous conseille de consulter à ce propos le projet MIROR (Methods In Research On Research). il s'agit d'un projet européen (Horizon 2020) pour former des chercheurs à faire de la recherche sur la recherche. Il y a 10 partenaires prestigieux, dont une équipe française (Université Paris-Saclay). Dans ce projet européen, le process des Journal clubs est très bien décrit.
L'analyse d'un article par un groupe devrait conduire à la rédaction d'une lettre soumise au journal qui a publié l'article, ou à sa publication sur un blog, car trop de rédaction refusent ces publications constructives (mais parfois critiques). Faut-il envoyer ces lettres dans un délai bref à partir de la publication de l'article ? OUI, et souvent les revues n'aiment pas publier deux ou quatre an plus tard des commentaires…. mais cela devrait changer. D'autres possibilités existent : discuter sur les réseaux sociaux, et les plus adaptés pour cela sont PubPeer (anonyme), PubMedCommons (no anonyme), et d'autres sites comme Publons par exemple.
Je reprends, pour exemple, la description de MIROR ci-dessous :
- Searching for relevant articles with a potential for discussion by subscribing to health journals to receive updates of new publications, hand-searching the latest issues and receiving suggestions from other colleagues.
- Once potential articles were spotted, the deadlines and requirements for writing letters to the editor of the corresponding journal were reviewed.
- An initial discussion between the assigned ESRs (Early Stage Researchers) and supervisor on the papers was conducted to define which paper was most relevant. Relevance was based on topic, journal impact, areas in article where meaningful improvement was possible and potential for forming the basis of discussion within the group.
- The selected article was then shared with the other ESRs and supervisors.
- In order to prepare for the discussion, the organizing team looked at other similar articles to contrast. This step also included performing additional calculations for the data analysis by using different criteria proposed by previous articles.
- The assigned ESRs chaired a videoconference that included all the other ERSs and involved related supervisors to discuss the chosen article.
- The organizing team summarized the discussion and prepared a succinct letter to the editor, addressing the most relevant points.
- The participants of the Journal Club provided feedback on the initial draft.
- The manuscript was adjusted accordingly by the organizing team.
- The last step was to submit the letter to the journal and hope to get accepted for publication. Within the MiRoR group it was discussed that, in case that the letter was not accepted by the journal, it would be posted to PubMed Commons.
