Llevamos meses oyendo a gurús de la inteligencia artificial asegurar que 2024 será el año del vídeo generado con IA. Y lo cierto es que ya toca: a día de hoy la generación de vídeo con IA sigue estando en pañales, a pesar de las numerosas startups apostando por ella. Stability, responsable de Stable Diffusion, es una de ellas.

La compañía acaba de presentar la nueva versión de Stable Diffusion Video, una IA que permite hacer paneos en vídeo de fotografías… y poco más. Sea como sea, todos los vídeos se basan o bien en prompts de texto o en una sola fotografía estática a la que se le hace magia. Sigue leyendo para que podamos explicarnos mejor.

Ya está aquí Stable Video Diffusion (SVD)

Ayer pudimos por fin probar la nueva versión de Stable Video Diffusion (SVD), el modelo de difusión latente de imagen a vídeo de Stability AI, empresa conocida por su creciente gama de modelos de IA de código abierto para la creación y codificación de contenidos.

Bautizado como SVD 1.1, el nuevo modelo recién actualizado es una versión mejorada de SVD 1.0, optimizada para generar vídeos de pocos segundos de IA con mejor movimiento y más coherencia.

Así funciona Stable Video 1.1

SVD 1.1. es una inteligencia artificial capaz de generar vídeos de cuatro segundos con 25 fotogramas a una resolución de 1024×576. Si bien la empresa asegura que la actualización proporciona resultados de vídeo más consistentes en comparación con el modelo original, lo cierto es que aún queda mucho trabajo por hacer. A continuación te mostramos uno de los mejores resultados que obtuvimos, a partir de una sola fotografía (generada con Stable Diffusion XL):

Stable Video ofrece unos resultados correctos siempre y cuando no se introduzca un valor demasiado alto de Motion Strength, SVD 1.1. Esto se traduce en un vídeo de movimiento lento. En cuanto le pides un poco más de detalle, el generador de vídeo ofrece artefactos raros.

Relacionado: Cómo instalar Stable Diffusion gratis en tu ordenador

Stable Video Diffusion 1.1 como usar
La clave para obtener buenos resultados en Stable Video Diffusion es reducir el valor de Motion Strength (abajo a la derecha).

Tras un periodo de beta cerrada que se ha prolongado durante unos pocos días, Tom Mason, CTO de Stability AI, ha confirmado que el nuevo modelo está disponible para uso público y puede descargarse a través de Hugging Face. Además, se proporcionará como parte de las suscripciones de Stability (tanto las gratuitas como las de pago, tanto individuales como empresariales). Los usuarios que deseen utilizar el nuevo SVD 1.1 con fines comerciales tendrán que suscribirse.

Aunque Stability afirma que el rendimiento mejora con SVD 1.1, queda por ver cómo funciona exactamente en la práctica. La página Hugging Face del modelo señala que es para fines de investigación y también advierte de que algunos de los problemas originales podrían seguir apareciendo.

Además de Hugging Face, los modelos Stable Video Diffusion también pueden utilizarse a través de la API disponible en la plataforma para desarrolladores Stability AI. Esto ofrece a los desarrolladores una forma sencilla de integrar a la perfección la generación avanzada de vídeo en sus productos.

Puedes Probar Stable Video Diffusion aquí.