Cet article du Lancet Digital Health d’avril 2025 est un point de vue détaillée et sage sur une question difficile et controversée. Encore plus complexe quand l’Intelligence Artificielle (IA) arrive dans ce contexte. Il y a 8 auteurs affiliés à des institutions en Allemagne, au Canada, en Suisse et aux USA. Des biais liés à l’IA ont été observés lorsqu’il s’agit de traiter des populations marginalisées. Cela rend plus urgent d’alimenter les IA avec des données plus ‘affinées’. Mais avec quels risques ? Le PDF de cet article qui a 104 références fait 9 pages. Le plan est bien fait.
Avantages et risques sont balancés
Voici une traduction DeepL du résumé : De nombreux pays dans le monde ne collectent pas de données sur la race et l’origine ethnique dans les environnements cliniques. Sans ces données, il est difficile d’identifier les biais dans les 
données d’apprentissage ou les résultats d’un algorithme d’intelligence artificielle (IA) donné, et d’élaborer des outils d’IA médicale qui n’excluent pas ou ne nuisent pas davantage aux groupes marginalisés. Cependant, la collecte de ces données présente également des risques spécifiques pour les populations racialement minoritaires et d’autres groupes marginalisés. Ce point de vue évalue les risques liés à la collecte de données sur la race et l’origine ethnique dans les environnements cliniques par rapport aux risques liés à l’absence de collecte de ces données. La collecte de données identifiées plus complètes (c’est-à-dire de données comprenant des attributs personnels tels que la race, l’origine ethnique et le sexe) pourrait profiter aux populations raciales minoritaires qui ont toujours été confrontées à des résultats sanitaires et à un accès aux soins de santé moins bons, ainsi qu’à une représentation inadéquate dans le domaine de la recherche. Toutefois, la collecte de données démographiques étendues soulève d’importantes préoccupations, notamment en ce qui concerne la construction de catégories sociales intersectionnelles (c’est-à-dire la race et sa signification changeante dans différents contextes sociopolitiques), les risques de réductionnisme biologique et le potentiel d’utilisation abusive, en particulier dans des situations d’exclusion historique, de violence, de conflit, de génocide et de colonialisme. Une navigation prudente dans la collecte de données identifiées est essentielle pour construire de meilleurs algorithmes d’IA et pour œuvrer en faveur d’une médecine qui n’exclut pas les groupes marginalisés et ne leur porte pas préjudice.
Encore des raisons pour se méfier des IA, et savoir les utiliser correctement
Les auteurs ne prennent pas position pour un système unique généralisé de partout. Ils appellent à la réflexion car les IAs sont de plus en plus utilisées. Déjà sans cette problématique, l’utilisation des IAs doit être prudente, mais sans données sur la race, l’ethnie et autres paramètres, des risques existent pour les soins des personnes marginalisées. Article bien fait, sans jugements, très factuel. Il y a un supplément intéressant qui détaille la collection de ces données en Allemagne (pas de recueil), au Canada (depuis 2020) et aux USA (depuis 1790). C’est utile.
Voici un extrait de la conclusion : Continued investment in AI technologies without a robust interrogation of what identified data are collected and how they can be used for good (vs potential harms) is a waste of resources. Methods that centre the interests and perspectives of affected marginalised groups are pivotal to this approach. Pushing for data privacy, which might prohibit the collection of race and ethnicity data (appendix p 2–6), carries substantial risks and creates a strong ethical dilemma, given that AI requires substantial and diverse data to work as designed. Prioritising data privacy too strongly can result in the creation of biased tools that exacerbate existing inequalities experienced by racially marginalised populations, which is ethically wrong.
3 commentaires
Bonjour,
Je suis sidéré de voir à quel point la communauté médicale, qui utilise encore les concepts de « race », de « caucasien » est en retard par rapport aux données anthropologiques et génétiques actuelles. Il semble exister une barrière entre la médecine et la communauté anthropologique. Il n’y a PAS de race humaine. L’espèce humaine est unique, et il y a parfois plus de différences génétiques entre deux voisins de la même origine géographique qu’entre deux personnes de continents différents. On parle actuellement d' »ancestry » ou d’origine géographique. Quand donc en tiendra-t-on compte parmi les médecins? Je parle en tant qu’anatomiste et anthropologue.
Bonjour
Voici comment les auteurs de cette étude décrivent le concept de race et d’ethnicité dans leur annexe (traduit directement de cette annexe):
« Nous considérons que la race est une catégorie socialement construite et fluide qui est façonnée par des déterminants sociaux, économiques, environnementaux et politiques à multiples facettes, en fonction du contexte et de l’époque. La race a des conséquences sociales et matérielles significatives sur les résultats en matière de santé. Ces séquelles ne sont pas dues à des différences génétiques ou biologiques, mais plutôt à des expériences de racialisation et de racisme, y compris des formes de marginalisation sociale. La race est une variable sociale et non biologique. L’ethnicité est un concept d’identification qui comprend des formes partagées d’histoire, de culture, d’origine territoriale, de langue, de religion ou d’autres traditions. Il est important de noter que les frontières de la race et de l’ethnicité ne sont pas fixes, qu’elles peuvent changer au cours de la vie d’une personne et qu’elles varient considérablement selon les contextes géopolitiques et culturels. Les données dérivées de ces classifications permettent idéalement d’obtenir des données cohérentes qui peuvent être comparées entre les populations et utilisent des termes auxquels les participants s’identifient eux-mêmes. Les raisons de collecter des données sur la race et l’ethnicité dans l’IA comprennent, par exemple, l’analyse des inégalités structurelles et systémiques dans des résultats spécifiques, l’analyse des inégalités intersectionnelles ou une meilleure compréhension des facteurs qui peuvent entraîner de mauvais résultats en matière de santé, du racisme ou d’autres mesures de l’inégalité. »
Vous êtes idéologisé au point d’aller jusqu’au déni de réalité. Le terme race est peut-être trop connoté et sémantiquement imparfait, mais il y a bel et bien des différences majeurs entre un sud-américain, un inuit, un suédois, un italien du sud, un africain, un chinois et un habitant du Vanuatu. On appréciera la tentative d’argument d’autorité à la fin. Je parle en tant que personne de bon sens pour ma part.