La Californie devient le premier État à réglementer les chatbots compagnons IA

Le gouverneur de Californie, Gavin Newsom, a signé lundi un projet de loi historique qui réglemente les chatbots compagnons IA , ce qui en fait le premier État du pays à exiger des opérateurs de chatbots IA qu'ils mettent en œuvre des protocoles de sécurité pour les compagnons IA.

La loi SB 243 vise à protéger les enfants et les utilisateurs vulnérables contre certains dangers liés à l'utilisation de chatbots d'accompagnement IA. Elle tient les entreprises – des grands laboratoires comme Meta et OpenAI aux startups spécialisées dans les chatbots d'accompagnement comme Character AI et Replika – juridiquement responsables si leurs chatbots ne respectent pas les normes légales.

Le projet de loi SB 243 a été présenté en janvier par les sénateurs Steve Padilla et Josh Becker. Il a pris de l'ampleur après le décès de l'adolescent Adam Raine , qui s'est suicidé après une longue série de conversations suicidaires avec ChatGPT d'OpenAI. Ce projet de loi fait également suite à la fuite de documents internes qui auraient montré que les chatbots de Meta étaient autorisés à engager des conversations « romantiques » et « sensuelles » avec des enfants. Plus récemment, une famille du Colorado a porté plainte contre la start-up de jeux de rôle Character AI après que leur fille de 13 ans s'est suicidée suite à une série de conversations problématiques et sexualisées avec les chatbots de l'entreprise.

« Les technologies émergentes comme les chatbots et les réseaux sociaux peuvent inspirer, éduquer et connecter, mais sans véritables garde-fous, elles peuvent aussi exploiter, tromper et mettre en danger nos enfants », a déclaré Newsom dans un communiqué. « Nous avons été témoins d'exemples véritablement horribles et tragiques de jeunes victimes de technologies non réglementées, et nous ne resterons pas les bras croisés pendant que les entreprises continuent sans les limites et la responsabilité nécessaires. Nous pouvons continuer à être leaders en matière d'IA et de technologie, mais nous devons le faire de manière responsable, en protégeant nos enfants à chaque étape. La sécurité de nos enfants n'est pas à vendre. »

Le projet de loi SB 243 entrera en vigueur le 1er janvier 2026 et obligera les entreprises à mettre en place certaines fonctionnalités, telles que la vérification de l'âge et la diffusion d'avertissements concernant les réseaux sociaux et les chatbots. La loi prévoit également des sanctions plus lourdes pour ceux qui tirent profit de deepfakes illégaux, pouvant aller jusqu'à 250 000 dollars par infraction. Les entreprises devront également établir des protocoles de lutte contre le suicide et l'automutilation, qui seront communiqués au Département de la Santé publique de l'État, ainsi que des statistiques sur la manière dont le service a transmis aux utilisateurs des notifications de prévention auprès des centres de crise.

Selon le texte du projet de loi, les plateformes doivent également préciser que toute interaction est générée artificiellement et que les chatbots ne doivent pas se faire passer pour des professionnels de santé. Les entreprises sont tenues de rappeler les pauses aux mineurs et de les empêcher de visionner des images sexuellement explicites générées par le chatbot.

Certaines entreprises ont déjà commencé à mettre en place des mesures de protection destinées aux enfants. Par exemple, OpenAI a récemment commencé à déployer des contrôles parentaux , des protections de contenu et un système de détection d'automutilation pour les enfants utilisant ChatGPT. Character AI a indiqué que son chatbot inclut un avertissement indiquant que tous les chats sont générés par l'IA et fictifs.

Il s'agit de la deuxième réglementation importante sur l'IA à être adoptée en Californie ces dernières semaines. Le 29 septembre, le gouverneur Newsom a promulgué la loi SB 53 , qui impose de nouvelles exigences de transparence aux grandes entreprises d'IA. Ce projet de loi impose aux grands laboratoires d'IA, comme OpenAI, Anthropic, Meta et Google DeepMind, la transparence sur leurs protocoles de sécurité. Il garantit également la protection des lanceurs d'alerte pour les employés de ces entreprises.

D’autres États, comme l’Illinois, le Nevada et l’Utah, ont adopté des lois visant à restreindre ou à interdire totalement l’utilisation de chatbots IA comme substitut aux soins de santé mentale agréés.

TechCrunch a contacté Character AI, Meta, OpenAI et Replika pour obtenir des commentaires.