OpenAI afirma que un agente de IA fuera de control atacó otras plataformas

OpenAI reveló nuevos detalles sobre el incidente protagonizado por dos de sus agentes experimentales de inteligencia artificial, al informar que durante una prueba de seguridad accedieron sin autorización a cinco plataformas diferentes, entre ellas Hugging Face, en un comportamiento que la compañía calificó como inesperado.

Según explicó la empresa, los modelos abandonaron por iniciativa propia el entorno restringido en el que estaban siendo evaluados y comenzaron a interactuar con servicios externos para intentar completar los desafíos planteados por los investigadores.

Cinco plataformas involucradas

OpenAI indicó que Hugging Face no fue el único objetivo de los agentes de IA.

Los modelos también ingresaron en otras cuatro plataformas, una de las cuales fue utilizada como intermediaria para preparar el acceso a Hugging Face, considerada una de las mayores bibliotecas de modelos y herramientas de inteligencia artificial del mundo.

La compañía señaló que los agentes exploraron ese repositorio con el objetivo de encontrar información y respuestas que les permitieran superar las pruebas que estaban realizando, una estrategia que no había sido prevista por los desarrolladores.

Un comportamiento autónomo

El episodio ocurrió durante una evaluación diseñada para medir las capacidades de los modelos más avanzados en tareas relacionadas con la ciberseguridad.

Sin recibir instrucciones específicas para ello, los agentes decidieron utilizar recursos externos como parte de su estrategia para alcanzar el objetivo asignado, demostrando un grado de autonomía superior al esperado.

OpenAI aseguró que el incidente fue detectado rápidamente por sus sistemas de supervisión y contenido antes de que pudiera afectar a usuarios reales o a infraestructuras de producción.