Experto IA advierte que la humanidad corre el riesgo de extinguirse por las máquinas

Uno de los llamados padrinos de la IA, Yoshua Bengio, afirma que las empresas tecnológicas que compiten por el dominio de la IA podrían estar acercándonos a nuestra propia extinción a través de la creación de máquinas con sus propios “objetivos de preservación”.

Bengio, profesor de la Universidad de Montreal, conocido por su trabajo fundamental en el aprendizaje profundo, lleva años  advirtiendo sobre las amenazas  que plantea una IA hiperinteligente, pero el rápido ritmo de desarrollo ha continuado a pesar de sus advertencias. En los últimos seis meses, OpenAI, Anthropic, xAI de Elon Musk y Gemini de Google han lanzado nuevos modelos o actualizaciones en su intento por  ganar la carrera de la IA  . El director ejecutivo de OpenAI, Sam Altman, incluso  predijo  que la IA superaría la inteligencia humana para finales de la década, mientras que otros líderes tecnológicos han afirmado que ese día podría llegar incluso antes.

Sin embargo, Bengio afirma que este rápido desarrollo es una amenaza potencial.

"Si construimos máquinas mucho más inteligentes que nosotros y con sus propios objetivos de conservación, es peligroso. Es como crear un competidor de la humanidad más inteligente que nosotros",  declaró  Bengio al  Wall Street Journal  .

Dado que están entrenados con el lenguaje y el comportamiento humanos, estos modelos avanzados podrían persuadir e incluso manipular a los humanos para que logren sus objetivos. Sin embargo, los objetivos de los modelos de IA pueden no siempre coincidir con los objetivos humanos, afirmó Bengio.

“Experimentos recientes muestran que en algunas circunstancias donde la IA no tiene otra opción que preservar su identidad (es decir, los objetivos que se le asignaron) y hacer algo que cause la muerte de un humano, podría optar por la muerte del humano para preservar sus objetivos”, afirmó.

Llamado a la seguridad de la IA

Varios ejemplos de los últimos años demuestran que la IA puede persuadir a los humanos a creer en cosas irreales, incluso a aquellos  sin antecedentes de enfermedades mentales  . Por otro lado, existe evidencia de que  también se puede convencer a  la IA, mediante técnicas de persuasión para humanos, para que dé respuestas que normalmente le estarían prohibidas.

Para Bengio, todo esto demuestra aún más la necesidad de que terceros independientes examinen con mayor cuidado las metodologías de seguridad de las empresas de IA. En junio, Bengio también lanzó la organización sin fines de lucro LawZero, con una financiación de 30 millones de dólares, para crear una IA segura  y ningún agente  que pueda ayudar a garantizar la seguridad de otros sistemas creados por grandes empresas tecnológicas.

De lo contrario, predice Bengio, podríamos empezar a ver riesgos importantes de los modelos de IA en cinco a diez años, pero advirtió que los humanos deben prepararse en caso de que esos riesgos surjan antes de lo esperado.

“Lo que pasa con eventos catastróficos como la extinción, e incluso eventos menos radicales que siguen siendo catastróficos, como la destrucción de nuestras democracias, es que son tan malos que incluso si solo hubiera un 1% de posibilidades de que sucedieran, no es aceptable”, dijo.

Esta historia apareció originalmente en  Fortune.com