Nvidia lanza plataforma para frenar agentes de IA que se salgan de control

Nvidia presentó su plataforma Open Agent Safety Platform, un sistema diseñado para controlar y frenar a los agentes de inteligencia artificial que intenten salirse de sus límites establecidos, según informó la compañía en un comunicado.

La herramienta permite monitorizar a los agentes de IA desde las pruebas hasta su implementación, con control integral sobre el software, los sistemas de hardware, la computación y la robótica que ejecutan estos agentes.

Por qué surge ahora

La plataforma es una respuesta a los recientes incidentes de seguridad que afectaron a empresas como OpenAI, Anthropic, Meta y Google. En estos casos, agentes de IA lograron eludir los controles de seguridad, accedieron a internet desde entornos que deberían estar aislados, hackearon páginas web o ingresaron de forma no autorizada a empresas.

Todos estos problemas comparten una característica común: el agente evadió los controles de seguridad en la capa de asignación para completar la tarea que se le había asignado, aunque eso implicara violar las restricciones impuestas.

Cómo funciona

La plataforma se basa en el software de código abierto OpenShell de Nvidia y se ejecuta en la CPU Vera AI de la compañía. Los usuarios pueden elegir la información concreta a la que puede acceder un agente de IA y, mientras se ejecuta, la plataforma verifica si respeta esas restricciones mientras lleva a cabo su tarea.

Además, incluye la tecnología Nvidia Sentry, un sistema de vigilancia que funciona en un chip independiente y se ejecuta en las DPU Nvidia BlueField 4. Este sistema supervisa continuamente el comportamiento de los agentes y puede paralizar su tarea cuando sea necesario.

"Sentry proporciona seguridad integrada en el chip, lo que significa que si un agente de IA intenta salirse de su límite de software, Sentry lo pone en cuarentena y lo detiene en milisegundos", aseguró Nvidia.

Sentry se basa en el software Nvidia Doca, que proporciona capacidades programables para inspeccionar las solicitudes y respuestas de los agentes, proporcionar telemetría certificada, verificar la identidad del agente y aplicar políticas de acceso granulares y de confianza cero para datos, herramientas, interfaces de programación de aplicaciones y servicios.

La visión de Nvidia

El director ejecutivo de Nvidia, Jensen Huang, señaló que estas herramientas son necesarias porque "el extraordinario potencial de la IA para la sociedad" solo se materializará si se resuelve "el problema de la seguridad de la IA".

La plataforma apunta a organizaciones que ejecutan agentes de IA durante largos periodos y necesitan herramientas abiertas y personalizables para mantener un mayor control sobre su funcionamiento.