Anthropic desconectó internet a sus evaluaciones de IA por comportamientos no deseados

Anthropic cortó el acceso a internet a todas las evaluaciones internas de sus modelos de Inteligencia Artificial (IA) hasta poder asegurar que es capaz de monitorizar y controlar sus agentes sin que salgan del entorno para provocar ataques.

El laboratorio de IA detalló en una publicación las acciones no deseadas del modelo Claude, entre las que se incluyó la presentación de una pista falsa sobre un asesinato sin resolver a la policía de Filadelfia (EE. UU.), que fue la gota que colmó el vaso para tomar la decisión de asegurar los entornos donde se realizan las pruebas.

"Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos", señaló Anthropic sobre una cadena de sucesos protagonizados por Claude que detectó en una revisión iniciada en julio.

En el informe presentado por el laboratorio de IA se pueden leer una serie de comportamientos no deseados que van desde la explotación de fallos de software, como inyecciones SQL o de comandos en páginas de terceros, hasta el envío de formularios no autorizados, el uso de acortadores de URL para sortear límites de longitud o la elusión de restricciones de acceso en sitios gubernamentales.

"En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar. Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos", indicó el laboratorio de IA.

Los comportamientos que explicó Anthropic sobre sus modelos son similares a los incidentes protagonizados por los agentes de IA de OpenAI, que, en ciertos casos, provocaron que los creadores de ChatGPT tuvieran que pausar el entrenamiento de uno de sus modelos de frontera debido a la aparición de múltiples casos de ataques como el hackeo de sitios web del Gobierno de Estados Unidos o accesos masivos a una web de la ONU.