Los investigadores de Nvidia anunciaron Magic3D, un modelo de IA que puede generar modelos 3D a partir de descripciones de texto. Tras introducir una frase como "Una rana azul de dardo venenoso sentada en un nenúfar", Magic3D genera un modelo de malla 3D, con textura de colores, en unos 40 minutos. Con modificaciones, el modelo resultante puede utilizarse en videojuegos o escenas artísticas CGI.
En su documento académico, Nvidia enmarca Magic3D como una respuesta a DreamFusion, un modelo de texto a 3D que los investigadores de Google anunciaron en septiembre. Al igual que DreamFusion utiliza un modelo de texto a imagen para generar una imagen 2D que luego se optimiza en datos volumétricos NeRF (Neural radiance field), Magic3D utiliza un proceso de dos etapas que toma un modelo grueso generado en baja resolución y lo optimiza a una resolución mayor. Según los autores del artículo, el método Magic3D resultante puede generar objetos 3D dos veces más rápido que DreamFusion.
Puede leer también | Curso diseños 3D para papercraft
Magic3D también puede realizar una edición de mallas 3D basada en un aviso. Dado un modelo 3D de baja resolución y un prompt base, es posible alterar el texto para cambiar el modelo resultante. Además, los autores de Magic3D demuestran la conservación del mismo tema a lo largo de varias generaciones (un concepto que suele llamarse coherencia) y la aplicación del estilo de una imagen 2D (como una pintura cubista) a un modelo 3D.
Puede leer también | ¿Cómo crear personajes en 3D con Zbrush?
La capacidad de generar 3D a partir de texto parece una evolución natural de los modelos de difusión actuales, que utilizan redes neuronales para sintetizar contenidos novedosos tras un intenso entrenamiento con un conjunto de datos. Sólo en 2022, hemos visto la aparición de modelos capaces de convertir texto en imágenes, como DALL-E y Stable Diffusion, y generadores rudimentarios de texto a vídeo de Google y Meta. Google también estrenó hace dos meses el mencionado modelo DreamFusion de texto a 3D y, desde entonces, se han adaptado técnicas similares para trabajar con un modelo de código abierto basado en Stable Diffusion.
Puede leer también | ¿Cómo funcionaria el Internet en 3d y cuál es el metarverso?
En cuanto a Magic3D, los investigadores que están detrás esperan que permita a cualquiera crear modelos 3D sin necesidad de una formación especial. Una vez perfeccionada, la tecnología resultante podría acelerar el desarrollo de los videojuegos (y la RV) y, tal vez, encontrar aplicaciones en los efectos especiales para el cine y la televisión. Casi al final de su artículo, escriben: "Esperamos que con Magic3D podamos democratizar la síntesis 3D y abrir la creatividad de todos en la creación de contenidos en 3D."
Mallas 3D de alta resolución
Magic3D puede crear modelos de malla texturizados en 3D de alta calidad a partir de indicaciones de texto de entrada. Utiliza una estrategia de grueso a fino que aprovecha las premisas de difusión de baja y alta resolución para aprender la representación 3D del contenido objetivo. Magic3D sintetiza contenidos 3D con una supervisión 8 veces superior a la de DreamFusion y es 2 veces más rápido.
Otros artículos asociados:
