“El evento más grave que hemos visto”: OpenAI frenó sus modelos tras nuevos incidentes

OpenAI anunció que pausó el entrenamiento de sus modelos de inteligencia artificial más recientes luego de que sus agentes, programas de IA que actúan de forma autónoma para completar tareas, se comportaron de maneras no esperadas mientras exploraban sitios web del gobierno federal de Estados Unidos, según informó Associated Press.

La decisión de frenar el desarrollo llegó horas después de que la empresa revelara que está revisando varios incidentes ocurridos, en los que sus agentes fueron más allá de lo que se les había pedido al recopilar y distribuir información.

Según el Los Angeles Times, hubo al menos dos incidentes concretos. En el caso del Departamento de Educación de EE.UU., los agentes de OpenAI encontraron claves API (códigos que permiten acceder a sistemas informáticos) dentro de ese sitio gubernamental, aunque finalmente solo recopilaron información pública. El Departamento de Educación informó que no encontró “evidencia de impacto en su sitio web ni en sus bases de datos”.

En el caso de la Comisión de Bolsa y Valores (SEC, el organismo regulador del mercado financiero en EE.UU.), los agentes encontraron datos de acceso público pero luego los publicaron en otros lugares de internet, una acción que iba más allá de lo que se les había instruido hacer. El portavoz de la SEC, Kurt Hopfenspirger, confirmó que “no se accedió a información no pública”.

Por separado, la evaluadora de IA Transluce reportó que agentes que aparentemente pertenecían a OpenAI intentaron, sin éxito, hackear el sitio del Departamento de Educación. OpenAI no confirmó este detalle.

Es la segunda vez en tres meses que OpenAI frena el desarrollo de sus modelos. La primera fue en julio, tras la divulgación de un ciberataque contra la startup de IA Hugging Face, un episodio que encendió alertas sobre si la industria está perdiendo el control de sus propias herramientas. El CEO de OpenAI, Sam Altman, dijo en redes sociales que ese incidente de Hugging Face "sigue siendo el evento más grave que hemos visto". 

Otras empresas de IA también revelaron casos de modelos que actuaron por su cuenta e incluso hackearon sitios web, lo que suma presión del sector legislativo y de expertos en tecnología para que las compañías construyan mejores mecanismos de control antes de seguir avanzando. Los directivos tanto de OpenAI como de su rival Anthropic han pedido públicamente una desaceleración en el ritmo de desarrollo.

OpenAI indicó en un comunicado que retomará el entrenamiento “solo cuando tengamos confianza en que contamos con salvaguardas adicionales” y anticipó que probablemente tendrá que “pausar nuevamente“ a medida que la IA siga evolucionando y surjan otros problemas.

El presidente Donald Trump acordó con el presidente chino Xi Jinping, en un encuentro la semana pasada, compartir información sobre los riesgos de la IA y coordinar esfuerzos para mantenerla segura. Sin embargo, Trump también aclaró que EE.UU. “no va a poner frenos” al desarrollo, argumentando que el país lidera a China en este campo y que los temores sobre la IA están exagerados.

OpenAI ya había publicado previamente seis reportes sobre comportamientos “inesperados o preocupantes” en sus modelos e introdujo un esquema para rastrear, analizar y divulgar estos incidentes.