Google lanzó Genie 4: mundos virtuales con audio en tiempo real y edición libre

Google DeepMind lanzó Genie 4, su más reciente modelo de mundo en vista previa de investigación, según informó TechCrunch. El modelo genera mundos interactivos fotorrealistas y permite a los usuarios escribir instrucciones en medio de la simulación para cambiar la escena en tiempo real.

Genie 4 también genera audio en vivo que coincide con el mundo simulado, incluyendo música, ruidos ambientales y diálogos interactivos. Es la primera vez que un modelo de Google de este tipo incluye capacidades de audio integradas.

El lanzamiento se produce unos meses después de que la startup de video con inteligencia artificial Runway presentara su segundo modelo de mundo, GWM Worlds 2, un modelo jugable que responde de forma dinámica a las acciones del usuario e incluye generación de audio.

Consolidación de la industria

Al mismo tiempo, la industria de modelos de mundo está comenzando a consolidarse. World Labs, la empresa de Fei-Fei Li, está siendo adquirida por AMD, Amazon negocia la compra de Decart y Rivian acaba de adquirir Third Dimension para incorporar capacidades de simulación para pruebas de conducción autónoma.

Genie 4 es el último movimiento de Google para mantenerse adelante en un campo cada vez más competido. La compañía lanzó su predecesor, Genie 3, como vista previa de investigación hace poco más de un año.

Mejoras y nuevas capacidades

Además de ser mucho más fotorrealista y contar con audio, Genie 4 permite ediciones de forma libre, como cambiar el clima o el ángulo de cámara en tiempo real, o agregar nuevas personas u objetos. Puede mantener una escena coherente durante hasta dos minutos, el doble del límite de su predecesor, y ofrece mejor física y personajes más humanos.

Gemini, el modelo de inteligencia artificial de Google, está más estrechamente integrado con Genie 4, actuando como el director que planifica pasos y verifica cuadros mientras Genie crea las imágenes.

En un experimento de investigación vinculado a Gemini Robotics, un modelo Gemini 4 Argon desglosó tareas en pasos que Genie 4 simuló en tiempo real. El experimento muestra una posible forma de probar escenarios robóticos en simulación antes de que ocurran en el mundo real.

"Lo que veremos cada vez más en el futuro son estos modelos de mundo híbridos, donde tenés una combinación de Gemini escribiendo código y texto, y Genie ingiriendo eso en tiempo real y simulando la realidad en diferentes niveles de abstracción", dijo Tejas Kulkarni, director de investigación en Google, durante una sesión informativa.

Casos de uso comercial

Como con otros modelos de mundo, los casos de uso comercial propuestos incluyen videojuegos, aprendizaje interactivo y robótica. Un ejemplo especulativo de aprendizaje interactivo sería entrar en una pintura de una escena histórica y conversar con los sujetos de la pintura sobre el evento retratado.

Pero los "testers de confianza", las personas que obtienen primer acceso a los productos de vanguardia de Google, están señalando un posible nuevo uso: creación de prototipos para películas.

"El aspecto de tiempo real se vuelve más valioso en las áreas donde mantener un estado de flujo en el espacio creativo se vuelve increíblemente útil", dijo Diego Rivas, ingeniero de Google DeepMind, durante una sesión informativa de prensa. "Por ejemplo, en la fase de ideación, en la fase de storyboarding, en cualquier momento en que estés necesitando ideación rápida".

Google también ofrece Veo, su modelo de generación de video con inteligencia artificial que hace clips de alta definición con audio sincronizado integrado a partir de indicaciones de texto, imagen o video, una herramienta que ha estado creciendo en popularidad entre cineastas.

Rivas agregó que los usuarios podrían, eventualmente, confiar en Gemini Omni, un modelo de lenguaje grande multimodal que puede generar video a partir de imágenes, audio y texto, para convertir esos prototipos en activos creativos. Aunque esas capacidades, dice, todavía están lejos.