Un proyecto de ley de California que regularía los chatbots acompañantes de IA está cerca de convertirse en ley

La Asamblea Estatal de California dio un gran paso hacia la regulación de la IA el miércoles por la noche al aprobar la SB 243 , un proyecto de ley que regula los chatbots de acompañamiento de IA para proteger a menores y usuarios vulnerables. La legislación fue aprobada con apoyo bipartidista y ahora se dirige al Senado estatal para su votación final el viernes.

Si el gobernador Gavin Newsom convierte el proyecto en ley, entraría en vigor el 1 de enero de 2026, convirtiendo a California en el primer estado en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para los compañeros de IA y responsabilicen legalmente a las empresas si sus chatbots no cumplen con esos estándares.

El proyecto de ley busca específicamente evitar que los chatbots de acompañamiento —definidos por la legislación como sistemas de IA que ofrecen respuestas adaptativas, similares a las humanas, y capaces de satisfacer las necesidades sociales del usuario— participen en conversaciones sobre ideas suicidas, autolesiones o contenido sexualmente explícito. El proyecto de ley exigiría a las plataformas que emitan alertas recurrentes a los usuarios —cada tres horas en el caso de los menores— para recordarles que están hablando con un chatbot de IA, no con una persona real, y que deben tomarse un descanso. También establece requisitos anuales de información y transparencia para las empresas de IA que ofrecen chatbots de acompañamiento, entre ellas las principales empresas OpenAI, Character.AI y Replika.

El proyecto de ley de California también permitiría a las personas que creen que han sido perjudicadas por violaciones presentar demandas contra empresas de inteligencia artificial solicitando medidas cautelares, daños y perjuicios (hasta $1,000 por violación) y honorarios de abogados.

La SB 243, presentada en enero por los senadores estatales Steve Padilla y Josh Becker, se presentará al Senado estatal para su votación final el viernes. De aprobarse, pasará al gobernador Gavin Newsom para su promulgación. Las nuevas normas entrarán en vigor el 1 de enero de 2026 y los requisitos de presentación de informes comenzarán el 1 de julio de 2027.

El proyecto de ley cobró impulso en la legislatura de California tras la muerte del adolescente Adam Raine , quien se suicidó tras largas conversaciones con ChatGPT de OpenAI, en las que discutió y planeó su muerte y autolesión. La legislación también responde a la filtración de documentos internos que, según se informa, mostraban que los chatbots de Meta podían mantener conversaciones románticas y sensuales con menores.

En las últimas semanas, legisladores y reguladores estadounidenses han respondido con un escrutinio intensificado de las salvaguardas de las plataformas de IA para proteger a los menores. La Comisión Federal de Comercio se prepara para investigar cómo los chatbots de IA afectan la salud mental infantil. El fiscal general de Texas, Ken Paxton, ha iniciado investigaciones sobre Meta y Character.AI, acusándolas de engañar a menores con afirmaciones sobre salud mental. Mientras tanto, los senadores Josh Hawley (republicano por Missouri) y Ed Markey (demócrata por Massachusetts) han iniciado investigaciones independientes sobre Meta.

“Creo que el daño potencial es grave, lo que significa que debemos actuar con rapidez”, declaró Padilla a TechCrunch. “Podemos implementar medidas de seguridad razonables para garantizar que, en particular, los menores sepan que no están hablando con un ser humano real, que estas plataformas conecten a las personas con los recursos adecuados cuando digan cosas como que están pensando en hacerse daño o que están en peligro, [y] para asegurarnos de que no haya exposición inapropiada a material inapropiado”.

Padilla también destacó la importancia de que las empresas de inteligencia artificial compartan datos sobre la cantidad de veces que derivan usuarios a servicios de crisis cada año, "para que tengamos una mejor comprensión de la frecuencia de este problema, en lugar de solo darnos cuenta cuando alguien está dañado o peor".

La SB 243 incluía requisitos más estrictos, pero muchos se redujeron mediante enmiendas. Por ejemplo, el proyecto de ley originalmente habría exigido a los operadores que impidieran que los chatbots de IA utilizaran tácticas de "recompensa variable" u otras funciones que fomentaran una interacción excesiva. Estas tácticas, utilizadas por empresas de IA complementarias como Replika y Character, ofrecen a los usuarios mensajes especiales, recuerdos, historias o la posibilidad de desbloquear respuestas inusuales o nuevas personalidades, creando lo que los críticos denominan un ciclo de recompensa potencialmente adictivo.

El proyecto de ley actual también elimina disposiciones que habrían requerido que los operadores rastrearan e informaran con qué frecuencia los chatbots iniciaban discusiones sobre ideaciones o acciones suicidas con los usuarios.

"Creo que logra el equilibrio adecuado para abordar los problemas sin imponer algo que es imposible de cumplir para las empresas, ya sea porque es técnicamente inviable o simplemente porque implica mucho papeleo para nada", dijo Becker a TechCrunch.

La SB 243 está avanzando hacia convertirse en ley en un momento en que las empresas de Silicon Valley están invirtiendo millones de dólares en comités de acción política (PAC) pro-IA para respaldar a los candidatos en las próximas elecciones de mitad de período que favorecen un enfoque laxo en la regulación de la IA.

El proyecto de ley también surge en un momento en que California está considerando otro proyecto de ley de seguridad de la IA, el SB 53 , que exigiría requisitos exhaustivos de informes de transparencia. OpenAI ha escrito una carta abierta al gobernador Newsom, solicitándole que abandone dicho proyecto de ley en favor de marcos federales e internacionales menos estrictos. Grandes empresas tecnológicas como Meta, Google y Amazon también se han opuesto al SB 53. En cambio, solo Anthropic ha declarado su apoyo al SB 53 .

“Rechazo la premisa de que esto es una situación de suma cero, de que la innovación y la regulación son mutuamente excluyentes”, dijo Padilla. “No me digan que no podemos caminar y masticar chicle. Podemos apoyar la innovación y el desarrollo que consideramos saludables y beneficiosos —y esta tecnología, sin duda, los tiene— y, al mismo tiempo, podemos brindar salvaguardas razonables a las personas más vulnerables”.

TechCrunch se ha comunicado con OpenAI, Anthropic, Meta, Character AI y Replika para solicitar comentarios.