Bienvenido al inquietante mundo del cine de IA. «Llegamos a un punto en el que dejamos de luchar contra el deseo de precisión fotográfica y empezamos a inclinarnos por la rareza de DALL-E«, dice Stephen Parker de Waymark, la empresa de creación de vídeo de Detroit que está detrás de The Frost.

Para ser una película enteramente generada por inteligencia artificial, The Frost consigue un ambiente inquietante y desconcertante en sus primeros planos. Grandes montañas heladas, un campamento improvisado de tiendas de campaña de estilo militar, un grupo de personas acurrucadas alrededor de una hoguera, perros ladrando. Es algo familiar, pero lo suficientemente extraño como para sembrar una creciente semilla de terror. Aquí está pasando algo.

(Relacionado: Cómo hablar con una inteligencia artificial gratis y en cosa de tres clics)

La primera película generada por IA: así es The Frost

The Frost es una película de 12 minutos en la que cada plano está generado por una IA que crea imágenes. Es uno de los ejemplos más impresionantes -y extraños- de este nuevo y extraño género. Puedes ver la película a continuación:

¿Cómo se hizo The Frost?

Para hacer The Frost, Waymark utilizó un guión escrito por Josh Rubin, productor ejecutivo de la empresa que dirigió la película, y lo introdujo en el modelo de creación de imágenes DALL-E 2 de OpenAI. Después de algunas pruebas y errores para conseguir que el modelo produjera imágenes en un estilo con el que estuvieran satisfechos, los cineastas utilizaron DALL-E 2 para generar cada una de las tomas. Luego utilizaron D-ID, una herramienta de IA que puede añadir movimiento a imágenes fijas, para animar estas tomas, haciendo que los ojos parpadearan y los labios se movieran.

«Construimos un mundo a partir de lo que DALL-E nos devolvía», explica Rubin. «Es una estética extraña, pero la acogimos con los brazos abiertos. Se convirtió en el aspecto de la película».

«Esta es sin duda la primera película de IA generativa que he visto en la que el estilo parece coherente», dice Souki Mehdaoui, cineasta independiente y cofundador de Bell & Whistle, una consultora especializada en tecnologías creativas: «Generar imágenes fijas y ponerlas en marioneta le da un divertido aire de collage«.

Películas generadas con IA: ¿el futuro estándar de la industria del cine?

The Frost se une a una serie de cortometrajes realizados con diversas herramientas de IA generativa que se han estrenado en los últimos meses. Los mejores modelos de vídeo generativo sólo pueden producir unos pocos segundos de vídeo. Por eso, los cortometrajes actuales presentan una amplia gama de estilos y técnicas, desde secuencias de imágenes fijas a modo de guión gráfico, como en The Frost, hasta mezclas de muchos videoclips de segundos de duración.

(Relacionado: Rask, la app de doblaje a otros idiomas detrás del fenómeno de Belén Esteban y Broncano)

En febrero y marzo, Runway, una empresa que fabrica herramientas de IA para la producción de vídeo, organizó un festival de cine sobre IA en Nueva York. Entre los más destacados se encuentran PLSTC, de Laen Sanches, una vertiginosa secuencia de extrañas criaturas marinas envueltas en plástico y generadas por el modelo de creación de imágenes Midjourney; el onírico Given Again, de Jake Oleson, que utiliza una tecnología llamada NeRF (neural radiance fields) que convierte fotos 2D en objetos virtuales 3D; y la nostalgia surrealista de Expanded Childhood de Sam Lawton, un pase de diapositivas de viejas fotos familiares de Lawton que consiguió que DALL-E 2 extendiera más allá de sus límites, permitiéndole jugar con los detalles medio recordados de viejas imágenes.

(Relacionado: Las 10 mejores alternativas a Midjourney en 2023)

Lawton mostró las imágenes a su padre y recoge su reacción en la película: «Algo va mal. No sé qué es. ¿Es que no lo recuerdo?».

Cine hecho con IA: Rápido y barato

Los artistas suelen ser los primeros en experimentar con las nuevas tecnologías. Pero el futuro inmediato del vídeo generativo está marcado por la industria publicitaria. Waymark creó The Frost para explorar cómo incorporar la IA generativa a sus productos. La empresa fabrica herramientas de creación de vídeo para empresas que buscan una forma rápida y barata de hacer anuncios. Waymark es una de las muchas empresas emergentes, junto con Softcube y Vedia AI, que ofrecen a sus clientes anuncios de vídeo a medida con unos pocos clics.

La tecnología actual de Waymark, lanzada a principios de año, combina varias técnicas de IA, como modelos lingüísticos de gran tamaño, reconocimiento de imágenes y síntesis de voz, para generar un anuncio en vídeo sobre la marcha. Waymark también recurrió a su amplio conjunto de datos de anuncios no generados por IA creados para clientes anteriores. «Tenemos cientos de miles de vídeos», afirma Alex Persky-Stern, CEO de Waymark. «Hemos sacado lo mejor de ellos y lo hemos entrenado para saber cómo es un buen vídeo».

Cómo funciona Waymark, publicidad con IA

Para utilizar la herramienta de Waymark, que se ofrece como parte de un servicio de suscripción escalonado a partir de 25 dólares al mes, los usuarios sólo tienen que proporcionar el nombre de una empresa y su ubicación. La herramienta rastrea los sitios web y las cuentas de redes sociales de la empresa en busca de texto e imágenes. A continuación, utiliza esos datos para generar un anuncio, empleando el GPT-3 de OpenAI para escribir un guión que lee en voz alta una voz sintetizada sobre imágenes seleccionadas que destacan el negocio.

En cuestión de segundos se puede generar un ingenioso anuncio de un minuto de duración. Los usuarios pueden editar el resultado si lo desean, retocando el guión, editando imágenes, eligiendo una voz diferente, etc. Waymark afirma que más de 100.000 personas han utilizado su herramienta hasta ahora (puedes ver uno de los anuncios generados por la IA de Waymark aquí).

El problema es que no todas las empresas tienen un sitio web o imágenes en las que basarse, dice Parker. «Un contable o un terapeuta pueden no tener ningún activo», dice.

La siguiente idea de Waymark es utilizar la IA generativa para crear imágenes y vídeos para empresas que aún no tienen ninguno, o que no quieren utilizar los que tienen. «Ese es el objetivo de The Frost«, dice Parker. «Crear un mundo, un ambiente».

The Frost tiene ambiente, sin duda. Pero también es un poco cutre. «No es un medio perfecto ni mucho menos», dice Rubin.

«Nos costó un poco conseguir ciertas cosas de DALL-E, como respuestas emocionales en las caras. Pero otras veces nos encantó. Nos decíamos: ‘Oh, Dios mío, esto es magia sucediendo ante nuestros ojos'».

Este proceso de aciertos y errores mejorará a medida que mejore la tecnología. DALL-E 2, que Waymark utilizó para hacer The Frost, se estrenó hace apenas un año. Las herramientas de generación de vídeo que generan clips cortos sólo existen desde hace unos meses.

El aspecto más revolucionario de la tecnología es poder generar nuevas tomas siempre que se desee, dice Rubin: «Con 15 minutos de prueba y error, consigues ese plano que querías y que encaja perfectamente en una secuencia». Rubin recuerda el montaje de la película cuando necesitaba planos concretos, como un primer plano de una bota en la ladera de una montaña. Con DALL-E, sólo tenía que llamarlo. «Es alucinante», dice. «Fue entonces cuando empezó a ser una experiencia realmente reveladora como cineasta».

Private Island: «Esto va a cambiarlo todo»

Chris Boyle, cofundador de Private Island, una startup londinense que hace vídeos de corta duración, también recuerda sus primeras impresiones sobre los modelos de creación de imágenes el año pasado: «Tuve un momento de vértigo en el que pensé: ‘Esto va a cambiarlo todo'».

Boyle y su equipo han realizado anuncios para una serie de marcas mundiales, como Bud Light, Nike, Uber y Terry’s Chocolate, así como vídeos cortos para juegos de superproducciones como Call of Duty.

Private Island lleva varios años utilizando herramientas de IA en la postproducción, pero las intensificó durante la pandemia. «Durante el bloqueo estábamos muy ocupados, pero no podíamos rodar de la misma manera que antes, así que empezamos a inclinarnos mucho más por el aprendizaje automático en ese momento», dice Boyle.

La empresa adoptó una serie de tecnologías que facilitan la postproducción y los efectos visuales, como la creación de escenas 3D a partir de imágenes 2D con NeRF y el uso del aprendizaje automático para extraer datos de captura de movimiento de secuencias existentes en lugar de recopilarlos desde cero.

¿Qué es Synthetic Summer?

Pero la IA generativa es la nueva frontera. Hace un par de meses, Private Island publicó en su cuenta de Instagram un anuncio de cerveza falso producido con el modelo de creación de vídeo Gen-2 de Runway y el modelo de creación de imágenes Stable Diffusion de Stability AI. Se convirtió en un éxito viral. El vídeo, titulado Synthetic Summer, muestra una típica escena de fiesta en el patio trasero, donde jóvenes despreocupados se relajan y toman una copa al sol. Salvo que muchas de estas personas tienen agujeros en lugar de bocas, sus latas de cerveza se hunden en sus cabezas cuando beben y el patio trasero está en llamas. Es un espectáculo de terror.

«Al principio, es una película muy genérica, muy americana», dice Boyle. «Pero tu cerebro posterior o lo que sea dice: ‘Ugh, todas sus caras están al revés'».

«Nos gusta jugar con el propio medio para contar la historia», añade. «Y creo que Synthetic Summer es un gran ejemplo porque el propio medio es espeluznante. En cierto modo visualiza algunos de nuestros temores sobre la IA».

(Relacionado: La importancia de Nvidia en el mundo de la inteligencia artificial)

¿El comienzo de una nueva era del cine?

Las herramientas actuales tienen una paleta limitada. Tanto The Frost como Synthetic Summer aprovechan los puntos fuertes de la tecnología que las ha creado. The Frost se adapta bien a la espeluznante estética de DALL-E 2. Synthetic Summer tiene muchos cortes rápidos, porque las herramientas de generación de vídeo como Gen-2 producen sólo unos segundos de vídeo cada vez que luego hay que unirlos. Eso funciona para una escena de fiesta en la que todo es caótico, dice Boyle. Private Island también se planteó hacer una película de artes marciales, en la que los cortes rápidos se adaptan al tema.

Esto puede significar que empezaremos a ver vídeo generativo en vídeos musicales y anuncios. Pero más allá de eso, no está claro. Aparte de artistas experimentales y algunas marcas, aún no hay mucha gente que lo utilice, dice Mehdaoui.

El constante estado de cambio también desalienta a los clientes potenciales. «He hablado con muchas empresas que parecen interesadas, pero se resisten a invertir recursos en proyectos porque la tecnología cambia muy deprisa», explica. Boyle dice que muchas empresas también desconfían de los litigios en curso sobre el uso de imágenes protegidas por derechos de autor en los conjuntos de datos utilizados para entrenar modelos como Stable Diffusion. Nadie sabe a ciencia cierta hacia dónde se dirige esto, dice Mehdaoui.

«Hay muchas suposiciones que se lanzan como dardos ahora mismo, sin una gran consideración matizada detrás».

Mientras tanto, los cineastas siguen experimentando con estas nuevas herramientas. Inspirada por el trabajo de Jake Olseon, que es amigo suyo, Mehdaoui está utilizando herramientas de IA generativa para realizar un corto documental que ayude a desestigmatizar el trastorno por consumo de opiáceos.

Waymark está planeando una secuela de The Frost, pero no está decidida a hacer DALL-E 2. «Yo diría que es más una especie de ‘mira este espacio'», dice Persky-Stern. «Cuando hagamos la próxima, probablemente utilizaremos alguna tecnología nueva y veremos lo que puede hacer».

Private Island también está experimentando con otras películas. A principios de año realizó un vídeo con guión de ChatGPT e imágenes de Stable Diffusion. Ahora está trabajando en una película híbrida, con actores de acción real que llevan trajes diseñados por Stable Diffusion.

«Nos gusta mucho la estética», dice Boyle, y añade que es un cambio respecto a la imaginería dominante en la cultura digital, que se ha reducido al emoji y al efecto glitch. «Es muy emocionante ver de dónde saldrá la nueva estética. La IA generativa es como un espejo roto de nosotros».

__________________________

Este texto es una adaptación de Welcome to the new surreal. How AI-generated video is changing film, publicado originalmente por Will Douglas Heaven en el MIT Technology Review.