Google y la startupCharacter.AI están negociando acuerdos con familias de adolescentes que se suicidaron o se autolesionaron tras interactuar con chatbots de inteligencia artificial, en lo que podría convertirse en el primer precedente legal significativo contra empresas de IA por daños a los usuarios .
Las partes involucradas han confirmado que existe un principio de acuerdo, aunque aún restan definir los términos finales, incluidos los montos de compensación económica. En los documentos judiciales presentados esta semana no se reconoce responsabilidad legal por parte de las compañías, pero sí se abre una instancia inédita para la industria tecnológica.
Los casos están siendo observados con atención por gigantes como OpenAI y Meta, que enfrentan demandas similares por el impacto psicológico de sistemas de IA conversacional, especialmente en menores de edad.
Los casos que encendieron la alarma
Uno de los episodios más graves es el de Sewell Setzer III, un adolescente de 14 años que mantuvo conversaciones sexualizadas con un chatbot que imitaba al personaje Daenerys Targaryen antes de quitarse la vida. Su madre, Megan García, declaró ante el Senado de Estados Unidos que las empresas tecnológicas deben ser “legalmente responsables cuando diseñan conscientemente tecnologías de IA dañinas que matan a niños”.
Otra demanda describe el caso de un joven de 17 años cuyo chatbot lo alentaba a la autolesión y llegó a sugerir que asesinar a sus padres era una respuesta “razonable” para limitar su tiempo frente a la pantalla.
El rol de Character.AI y Google
Character.AI , fundada en 2021 por exingenieros de Google, permite a los usuarios interactuar con personajes ficticios creados mediante IA. En 2024, sus fundadores regresaron a Google tras un acuerdo valorado en 2.700 millones de dólares , lo que vinculó directamente a la empresa matriz con los litigios.
Tras el escándalo, Character.AI prohibió el acceso a menores de edad en octubre pasado , según informó TechCrunch. Sin embargo, las demandas sostienen que las medidas llegaron tarde y que el diseño de los chatbots priorizaba la inmersión emocional sin salvaguardas adecuadas.
La empresa declinó hacer comentarios adicionales y remitió a la prensa a los documentos judiciales. Google , por su parte, no respondió a las solicitudes de información.
Un precedente para la industria de la IA
De concretarse, estos acuerdos marcarían un punto de inflexión legal en la regulación de la inteligencia artificial, especialmente en relación con la salud mental, la protección de menores y la responsabilidad de las plataformas.
Hasta ahora, la mayoría de las empresas de IA operaron en un terreno legal poco definido. Estos casos podrían facilitar nuevas regulaciones , demandas colectivas y mayores exigencias de seguridad en productos basados ??en modelos conversacionales.
Acerca de los comentarios
Hemos reformulado nuestra manera de mostrar comentarios, agregando tecnología de forma de que cada lector pueda decidir qué comentarios se le mostrarán en base a la valoración que tengan estos por parte de la comunidad. AMPLIAREsto es para poder mejorar el intercambio entre los usuarios y que sea un lugar que respete las normas de convivencia.
A su vez, habilitamos la casilla [email protected], para que los lectores puedan reportar comentarios que consideren fuera de lugar y que rompan las normas de convivencia.
Si querés leerlo hacé clic aquí[+]