Investigadores de la Universidad Nacional de Australia, la Universidad de Oxford y la Academia de Inteligencia Artificial de Pekín han desarrollado un nuevo sistema de IA llamado «3D-GPT» que puede generar modelos 3D simplemente a partir de descripciones basadas en texto proporcionadas por un usuario.

(Relacionado: El Gaussian Splatting cambiará para siempre nuestra forma de hacer vídeos)

El sistema, descrito en un artículo publicado en arXiv, ofrece una forma más eficaz e intuitiva de crear activos 3D en comparación con los flujos de trabajo de modelado 3D tradicionales.

3D-GPT es capaz de «diseccionar las tareas de modelado 3D procedimental en segmentos accesibles y designar el agente adecuado para cada tarea», según el artículo. Utiliza varios agentes de IA que se centran cada uno en una parte distinta de la comprensión del texto y la ejecución de las funciones de modelado.

Como generar 3d con IA

Los agentes clave son un «agente de envío de tareas» que analiza las instrucciones textuales, un «agente de conceptualización» que añade detalles que faltan en la descripción inicial y un «agente de modelado» que establece parámetros y genera código para manejar software 3D como Blender.

Al desglosar el proceso de modelado y asignar agentes de IA especializados, 3D-GPT es capaz de interpretar las instrucciones de texto, mejorar las descripciones con detalles adicionales y, en última instancia, generar activos 3D que coincidan con lo que el usuario imaginó.

«Mejora las concisas descripciones iniciales de la escena, transformándolas en formas detalladas y adaptando dinámicamente el texto en función de las instrucciones posteriores», explica el artículo.

(Relacionado: MidJourney lanza su primera app para ‘smartphones’: Niji Journey)

Cómo es la calidad del 3D generado con IA

Aunque la calidad de los gráficos aún no es fotorrealista, los primeros resultados sugieren que este enfoque basado en agentes es prometedor para simplificar la creación de contenidos 3D. La arquitectura modular también podría permitir mejorar cada componente del agente de forma independiente.

El sistema se probó con instrucciones como «una brumosa mañana de primavera, en la que flores besadas por el rocío salpican un exuberante prado rodeado de árboles en ciernes». 3D-GPT fue capaz de generar escenas tridimensionales completas con gráficos realistas que reflejaban con precisión los elementos descritos en el texto.

«Nuestras investigaciones empíricas confirman que 3D-GPT no sólo interpreta y ejecuta instrucciones y ofrece resultados fiables, sino que también colabora eficazmente con los diseñadores humanos», escriben los investigadores.

Al generar código para controlar el software 3D existente en lugar de construir modelos desde cero, 3D-GPT proporciona una base flexible sobre la que construir a medida que avanzan las técnicas de modelado.

(Relacionado: ¿Cuál es el LLM más transparente?: suspenso generalizado)

Los investigadores concluyen que su sistema «pone de relieve el potencial de los LLM en el modelado 3D, ofreciendo un marco básico para futuros avances en la generación y animación de escenas».

Esta investigación podría revolucionar la industria del modelado 3D, haciendo el proceso más eficiente y accesible. A medida que nos adentramos en la era del metaverso, en la que la creación de contenidos 3D sirve de catalizador, herramientas como 3D-GPT podrían resultar inestimables para los creadores y los responsables de la toma de decisiones en toda una serie de sectores, desde los juegos y la realidad virtual hasta el cine y las experiencias multimedia.

El marco 3D-GPT está aún en sus primeras fases y tiene algunas limitaciones, pero su desarrollo supone un importante paso adelante en el modelado 3D basado en IA y abre interesantes posibilidades para futuros avances.

Puedes leer el estudio completo aquí: 3D-GPT: PROCEDURAL 3D MODELING WITH LARGE
LANGUAGE MODELS

Wonder 3D: Cómo pasar de imágenes 2D a 3D

Wonder3D, una herramienta de IA para crear modelos 3D, lleva varios días haciendo ruido en redes y, aunque aún está por pulir (genera muchos artefactos), está ofreciendo resultados muy prometedores. Aunque se trata de una herramienta relativamente nueva, ya ha ganado popularidad entre los artistas y creadores de contenido 3D.

Wonder3D utiliza un algoritmo de aprendizaje automático para crear modelos 3D a partir de imágenes 2D. El usuario simplemente proporciona una imagen o un conjunto de imágenes, y Wonder3D genera un modelo 3D fotorrealista.

Wonder3D es una herramienta muy versátil que se puede utilizar para crear una variedad de modelos 3D, desde objetos simples hasta escenas complejas. Es una herramienta útil para artistas, diseñadores y creadores de contenido que desean crear modelos 3D sin tener que aprender a usar software 3D tradicional.

Aquí hay algunas de las características clave de Wonder3D:

  • Genera modelos 3D fotorrealistas a partir de imágenes 2D.
  • Es una herramienta fácil de usar que no requiere conocimientos de software 3D.
  • Es una herramienta versátil que se puede utilizar para crear una variedad de modelos 3D.

Wonder3D está disponible en versión gratuita y de pago. La versión gratuita tiene algunas limitaciones, como la resolución del modelo y el número de modelos que se pueden crear. La versión de pago elimina estas limitaciones y ofrece acceso a funciones adicionales, como la exportación de modelos a formatos 3D populares.

La importancia del 3D en los LLM.

Gracias al uso de modelos meticulosamente detallados, la producción de contenidos 3D en la era del metaverso redefine las experiencias multimedia en las industrias del videojuego, la realidad virtual y el cine. Sin embargo, los diseñadores a menudo necesitan ayuda con un proceso de modelado 3D que requiere mucho tiempo, empezando con formas fundamentales (como cubos, esferas o cilindros) y utilizando herramientas como Blender para el contorneado, el detallado y el texturizado exactos.

El renderizado y el postprocesado ponen fin a esta laboriosa producción y dan lugar al pulido modelo final. Aunque los parámetros modificables y los sistemas basados en reglas hacen que la generación procedimental sea eficaz para automatizar el desarrollo de contenidos, requiere un conocimiento profundo de las reglas de generación, los marcos algorítmicos y los parámetros individuales.

(Relacionado: Nvidia y Foxconn lo tienen claro: las fábricas de IA son el futuro)

Otro elemento de complejidad se añade cuando estos procedimientos se coordinan con las aspiraciones creativas de los clientes mediante una comunicación eficaz. Esto subraya la importancia de racionalizar el enfoque convencional del modelado 3D para capacitar a los creadores en la era del metaverso.

Los LLM han demostrado una notable capacidad de planificación y de uso de herramientas, así como de comprensión del lenguaje. Además, los LLM muestran una habilidad excepcional para caracterizar las cualidades de los objetos, como la estructura y la textura, lo que les permite mejorar los detalles a partir de descripciones básicas.

También destacan en la comprensión de funciones de código complejas y en el análisis sintáctico de material textual breve, al tiempo que facilitan sin esfuerzo interacciones eficaces con el usuario. Exploraron los nuevos usos de estas habilidades excepcionales en el modelado 3D procedimental.