• Google ha presentado el proyecto Lumiere, una app basada en un robusto LLM que estarás deseando de poder usar que es capaz de procesar entradas multimodales como texto, imágenes, vídeo y audio para generar vídeos.
  • Los sorprendente (y que nadie entiende) es que Google ya presentó hace un mes otro generador de vídeo con inteligencia artificial llamado VideoPoet.
  • Por desgracia, aún no es posible probar Google Lumiere. Sigue estando en fase de desarrollo y los usuarios en general no pueden utilizar directamente la herramienta.
  • En Diario IA os avisaremos en el canal de Telegram cuanto sea posible utilizar Lumiere.

En Diario IA ya hemos perdido la cuenta de todas las app de generadores de vídeo con inteligencia artificial que han salido en los últimos meses. Tanto es así que la propia Google, que ahora presenta Lumiere, ya presentó una similar hace un mes, llamada Videopoet.

Relacionado: Así es VideoPoet, el generador de vídeo con IA de Google

Lumiere: una IA para generar vídeos que estamos deseando poder usar, aunque sea en demo

Lumiere permite (o permitirá) crear videoclips de hasta cinco segundos de duración extraordinariamente realistas (o surrealistas) de alta calidad. Puede animar imágenes fijas, o sólo partes de ellas, en respuesta a indicaciones de texto en lenguaje natural sobre lo que te gustaría ver.

Lumiere también puede tomar una imagen, clonar su estilo y utilizarlo para crear un montón de vídeos sobre otros temas tan parecidos que podrían haber salido de una agencia de publicidad.

Puede tomar tu propio vídeo original y convertirlo todo en Lego, origami o flores: sólo tienes que decírselo.

 

El equipo de investigación afirma que la «arquitectura U-net espacio-temporal» de Lumiere construye toda la longitud del vídeo de una sola vez, en una sola pasada, a diferencia de los modelos anteriores, que a menudo generaban un fotograma inicial y otro final e intentaban adivinar lo que ocurriría entre medias.

Relacionado: La IA ya permite borrar marcas de agua en vídeos pero… ¿es legal?

¿Qué se puede hacer con Google Lumiere?

Google Lumiere es una avanzada herramienta de inteligencia artificial desarrollada por Google Research en colaboración con la Universidad de Tel Aviv, diseñada para la creación y edición de videos. Entre sus características más destacadas se encuentran:

  1. Generación de videos a partir de texto o imágenes: Lumiere permite a los usuarios crear videos completos a partir de instrucciones en texto o imágenes, con resultados de alta fidelidad.
  2. Creación de estilos nuevos: Basándose en una foto de referencia, esta herramienta es capaz de generar imágenes en movimiento o aplicar estilos particulares, como animaciones.
  3. Animación de fotos fijas: Lumiere puede hacer que imágenes estáticas, como una mariposa en una planta o las llamas de una fogata, parezcan cobrar vida.
  4. Completar y restaurar videos: Esta IA es capaz de completar videos que están incompletos o tienen partes dañadas, rellenando con gran precisión los espacios faltantes. Es especialmente útil en la restauración o mejora de metraje de video.
  5. Modificaciones instantáneas en videos: Permite cambiar aspectos específicos en un video existente, como la ropa de una persona, solo con describir lo que se busca.
  6. Generación de contenido detallado y visualmente atractivo: Gracias a su arquitectura Space-Time U-Net y un modelo de texto a imagen, Lumiere produce videos con una fluidez y coherencia notables.
  7. Versatilidad creativa: Esta herramienta es capaz de generar contenido visual en respuesta a instrucciones de texto en lenguaje natural, desde escenas realistas hasta paisajes surrealistas.
  8. Generación de videos en un estilo específico: Utilizando solo una imagen de referencia, Lumiere puede imitar estilos específicos, lo que es útil para mantener una temática visual coherente en producciones de contenido.

Relacionado: Google Chrome recibe una explosión de inteligencia artificial

Puedes leer más información (pero no usar) Lumiere en el siguiente enlace.