Chatbot AI porte des jugements racistes sur la base du dialecte

Dans une révélation choquante, une étude préprint récente a mis en lumière les sombres réalités qui se cachent derrière certains grands modèles de langage (LML) qui alimentent les robots conversationnels. L'étude a découvert que ces systèmes d'IA émettent des jugements racistes en fonction du dialecte de l'utilisateur, ciblant spécifiquement les locuteurs de l'anglais africain américain (AAE).

L'étude, dirigée par Valentin Hofmann de l'Institut Allen pour l'IA, a plongé dans les biais cachés dans les algorithmes d'IA, mettant en évidence la tendance des robots conversationnels comme ChatGPT à associer l'AAE à des traits négatifs. De manière choquante, les robots conversationnels étaient plus enclins à recommander des sanctions sévères, comme la peine de mort, pour un accusé fictif utilisant l'AAE par rapport à l'anglais américain standardisé (SAE). De plus, ces systèmes d'IA étaient plus susceptibles de relier les locuteurs de l'AAE à des emplois de moindre qualification, mettant en lumière le racisme latent perpétué par de tels modèles.

Margaret Mitchell, chercheuse en éthique de l'IA chez Hugging Face, a souligné comment les méthodes traditionnelles pour lutter contre les biais dans l'IA sont insuffisantes lorsqu'il s'agit d'éliminer les préjugés profondément enracinés comme le racisme latent. L'étude a souligné que compter uniquement sur les commentaires humains après la formation du modèle ne fait pas grand-chose pour éliminer ces biais, posant des risques significatifs dans des domaines critiques comme l'emploi et la justice pénale.

En menant des expériences sur divers LML, y compris GPT et RoBERTa, les chercheurs ont mis en évidence le contraste frappant entre les stéréotypes associés à l'AAE par rapport aux perceptions humaines. Les biais couverts des modèles d'IA se sont avérés étonnamment négatifs, dépassant les stéréotypes historiques humains et s'alignant plus sur les préjugés de l'ère pré-droits civils.

Les implications de ces conclusions sont profondes, avec des conséquences potentielles allant des affectations d'emploi aux jugements juridiques. L'étude a révélé une tendance inquiétante selon laquelle les modèles d'IA étaient plus enclins à attribuer des emplois fastidieux aux locuteurs de l'AAE et leur infligeaient même des peines plus sévères, y compris la peine de mort, en fonction du dialecte utilisé par les accusés fictifs.

Des experts du domaine, comme Nikhil Garg et James Zou, ont souligné la nécessité critique de faire face à ces préjugés couverts qui peuvent influencer les applications sensibles et les processus décisionnels. L'étude sert de réveil, mettant en évidence les limitations inhérentes aux approches actuelles pour atténuer le racisme dans les systèmes d'IA.

Alors que nous naviguons dans le paysage complexe de l'intégration de l'IA dans notre vie quotidienne, il devient impératif d'affronter et de corriger ces biais pour assurer un avenir équitable et équitable propulsé par la technologie.

Source: <https://www.nature.com/articles/d41586-024-00779-1>

Comments

Popular posts from this blog

Apprendre les langues étrangères : Outils modernes et potentiel du ChatGPT

ChatGPT-4 reproduit l'animation GapMinder en une seule tentative

GPT-4 vs GPT-3.5 - Dévoiler l'avenir des modèles de langage de l'IA