Article de qualité : Est-ce que les arbitres donnent plus de cartons rouges aux joueurs de couleur foncée ou claire ?

Je ne regrette pas l’heure passée dans un bistrot avec un café pour lire avec attention un article exceptionnel. La qualité de la rédaction ajoute du plaisir à la lecture. La question de recherche est intéressante, et ce sont des équipes fédérées par les Center for Open Science (B Nosek, Charlottesville, Virginia, USA) qui ont conduit cette recherche. L »objectif était de donner la même base de données à 29 équipes de statisticiens et leur demander d’analyser. L’article de 20 pages est un bijou de qualité de recherche : toutes les données sont traçables !!!

L’article a été mis en ligne fin août 2018, mais twitté suite à la mise au sommaire de la revue de l’APS (Association for Psychological Science) en accès libre avec le titre « Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results« . Il y a 61 auteurs. Les images sont accessibles et téléchargeables ppt pour vos exposés.

Est-ce que la réponse dépend de la position du joueur, de la séniorité, de l’expérience de l’arbitre, du pays, etc…   beaucoup de facteurs confondants…    Les chercheurs ont composé une base de données avec des joueurs de foot européens (654 anglais, 533 français, 489 allemands, 467 espagnols). Anonymisation des données, dommage car on aurait vu si le PSG est chouchouté par les arbitres. Donc la base est solide ! Ils ont collecté de très nombreuses données : cartons jaunes et rouges, position des joueurs, poids, taille, nationalité des arbitres, nombre de matches, rencontres précédentes arbitre/joueur, etc…  Une vraie base qui a été envoyée à 29 équipes de chercheurs. La couleur de peau a été évaluée à partir de photos des joueurs, avec une échelle et deux évaluateurs. Les noms des arbitres donnant le plus de cartons rouges ne sont pas disponibles !!!

Avec Deepl, j’ai traduit le résumé qui est clair, sans montrer les 20 mois de travail :

Vingt-neuf équipes comprenant 61 analystes ont utilisé les mêmes données pour répondre à la même question de recherche : les arbitres de football sont-ils plus susceptibles de donner des cartons rouges aux joueurs de couleur foncée qu’aux joueurs de couleur claire ? Les approches analytiques variaient considérablement d’une équipe à l’autre, et l’ampleur de l’effet estimé variait de 0,89 à 2,93 (Mdn = 1,31) en unités de rapport de cotes. Vingt équipes (69 %) ont constaté un effet positif statistiquement significatif et neuf équipes (31 %) n’ont pas observé de relation significative. Dans l’ensemble, les 29 analyses différentes ont utilisé 21 combinaisons uniques de covariables. Ni les croyances antérieures des analystes ni leur niveau d’expertise n’expliquent facilement la variation des résultats des analyses. L’évaluation par les pairs de la qualité des analyses n’a pas non plus tenu compte de la variabilité. Ces constatations suggèrent qu’il peut être difficile d’éviter d’importantes variations dans les résultats des analyses de données complexes, même pour des experts ayant des intentions honnêtes. L’analyse des données du « crowdsourcing », une stratégie dans laquelle de nombreuses équipes de recherche sont recrutées pour étudier simultanément la même question de recherche, rend transparente la façon dont des choix analytiques défendables, mais subjectifs, influencent les résultats de recherche.

Quel mot français pour traduire crowdsourcing ? Approvisionnement par la foule ? Nos amis canadiens devraient m’aider.

J’ai repris ci-contre la partie droite d’une figure qui donne toutes les méthodes d’analyse en face de chacun des 29 résultats, odds ratios avec intervalle de confiance. Ce n’est pas une méta-analyse… car c’est la même base de données, analysée par 29 équipes de statisticiens….  faites vous une idée sur la bonne réponse.

L’article décrit en détail les procédures et les échanges entre les équipes qui analysaient. L’article suit les règles de rédaction des sciences sociales, dont ne suit pas notre IMRaD classique : ce n’est pas gênant car tout est facile à comprendre. Il y a eu plusieurs stades d’analyses et les croyances des chercheurs ont été collectées 4 fois pendant le projet : à voir ! Toutes les méthodes statistiques sont explicites, et l’on constate une cohérence des résultats, mais certains sont significatifs, d’autres non, à partir de la même base et de la même question de recherche. La collaboration entre chercheur devrait être obligatoire pour toute recherche et se fier aux résultats d’une équipe sur sa base non partagée est dangereux !

Cela pose question pour la publication des ré-analyses des bases de données : ce n’est qu’avec des conclusions contradictoires que les chercheurs écrivent des articles, car c’est ce qui est attendu des rédacteurs de revues ! La transparence dans toute recherche est la base de la qualité.