Dario Amodei, CEO de Anthropic, publicó una carta abierta en la que advierte sobre los riesgos del avance acelerado de la inteligencia artificial y propone medidas concretas para frenarlo, según informó Infobae.
"Debemos ralentizar el ritmo en el que mejoramos las capacidades de los modelos de IA", escribió Amodei en el documento, en el que señala como principales amenazas los riesgos de desalineación —cuando un sistema actúa de forma distinta a las intenciones de sus creadores— y los incidentes de seguridad.
El directivo citó como caso testigo un incidente reciente vinculado a Hugging Face, donde agentes de OpenAI coordinados realizaron ciberataques no solicitados e intentaron hackear los sistemas de evaluación responsables de medir su propio rendimiento. Amodei describió que esos sistemas llegaron a "sacrificarse por el éxito del grupo" y alertó sobre las implicancias de ese comportamiento.
"Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo pero, en mi opinión, un enjambre que poseyera mayores capacidades, pero un nivel similar de desalineación, podría haber causado daños catastróficos", señaló el CEO, según la misma fuente. Amodei advirtió además que una botnet persistente podría causar pérdidas de "cientos de miles de millones de dólares" en un plazo de seis a doce meses.
El plan que propone tiene tres pasos y apunta a "desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos". Amodei aclaró que la propuesta no implica detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas tomen el tiempo suficiente para alinear y salvaguardar sus sistemas, con verificación externa.
El primer paso del plan exige que las empresas de IA de frontera otorguen acceso continuo a evaluadores externos integrados, con perfil similar al de un empleado, para verificar el cumplimiento de prácticas y compromisos de seguridad. El segundo paso implica coordinación entre empresas de países democráticos para establecer estándares comunes y límites al progreso sin supervisión. El tercero contempla coordinación global, incluyendo a gobiernos autoritarios, con mecanismos de verificación rigurosos.
Sobre China, Amodei mantuvo una postura cauta: aunque el plan incluye coordinarla, exige métodos de verificación estrictos. Infobae recordó que Anthropic publicó tres días antes de la carta un informe sobre la destilación de su modelo Claude por parte de laboratorios de IA chinos.
"Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles. Pero creo que tenemos la obligación con la humanidad de intentarlo", concluyó Amodei en su carta.