今年，AIGC技术可谓在各行各业大放异彩，从AI绘画、AI写作到AI配音，人工智能技术自动生成内容已经成为继UGC、PGC之后的一种新型内容生产方式，AI生成工具每次的迭代完善，也总能引发一波“人类下岗”热议。

这次，“下岗”压力来到了人类建模师这边。

本月18日，英伟达（NVIDIA）推出了全新的AI工具——Magic3D，能够基于文本描述自动生成3D模型。

01

对标谷歌DreamFusion

英伟达推出Magic3D

Magic3D和现在流行的AI绘画工具的使用方式差不多，人们只需要输入一段文字，比如“一只坐在睡莲上的蓝色箭毒蛙”，AI就能生成出一只色泽、纹理、造型俱全的3D模型出来。

这一生成结果耗时大约40分钟，最终成品也还能算得上像模像样。

Magic3D还可以执行基于提示的3D网格编辑：只要给定低分辨率3D模型和基本提示，就可以更改文本从而修改生成的模型内容。

此外，作者还展示了保持画风，以及将2D图像样式应用于 3D 模型的能力。

其实，3D生成模型也并不新奇。

在9月29日，谷歌就曾发布过一款文本到3D的生成模型DreamFusion。英伟达也表示，关于Magic3D的研究中直接对标谷歌DreamFusion。

类似于DreamFusion用文本生成2D图像，再将其优化为体积 NeRF（神经辐射场）数据的流程，Magic3D使用两阶段生成法，用低分辨率生成的粗略模型再优化到更高的分辨率：首先使用低分辨率扩散先验获得粗糙模型，并使用稀疏3D哈希网格结构进行加速。

接下来用粗略表示作为初始，进一步优化带纹理的3D网格模型，该模型具有与高分辨率潜在扩散模型交互的高效可微分渲染器。

这种方法的优势在于，生成型AI模型不必使用稀缺的3D模型进行训练，无需额外训练就可以同时从不同类别生成众多3D模型。

创新的技术方法带来了质量和效率两方面的进步：Magic3D使用监督方法可合成8倍高分辨率的3D内容，并能在40分钟内创建高质量的3D网格模型，生成速度比 DreamFusion快2倍。

统计表明相比 DreamFusion，61.7% 的人更喜欢英伟达的新方法。

具体来说，Magic3D是一种“从粗到精”的优化方法，使用不同分辨率下的多个扩散先验来优化 3D 表征，从而生成视图一致的几何形状以及高分辨率细节。

Magic3D的整个工作流程分为两个阶段：

在第一阶段，Magic3D优化了类似于DreamFusion的粗略神经场表征，以实现具有基于哈希网格（hash grid）的内存和计算的高效场景表征。

在第二阶段该方法切换到优化网格表征。

这个步骤十分关键，它允许该方法在高达 512 × 512 的分辨率下利用扩散先验。

由于3D网格适用于快速图形渲染，可以实时渲染高分辨率图像，因此该研究利用基于光栅化的高效微分渲染器和相机特写来恢复几何纹理中的高频细节。

基于上述两个阶段，该方法可以生成高保真的3D内容，并且很容易在标准图形软件中导入和可视化。

此外，该研究展示了用文本prompt对3D合成过程的创造性控制能力：Magic3D能够对3D网格进行基于提示的实时编辑，只需要修改文字提示，就能够立即生成新的3D模型。

02

AI建模，潜力无限

相比于文字到绘画的AI二维平面生成，英伟达进入AI生成模型领域的研究Magic3D则直接站在了更高次元的起跑线上。

3D 内容对于元宇宙至关重要，很多科技公司正在推出用于构建虚拟世界的工具，随着计算机图形技术、元宇宙和 AI 之间的交集越来越多，这些技术也在不断升级。

当今，包括建筑、医疗、游戏娱乐、机器人模拟等许多领域，都对3D数字内容有很高要求。但专业的3D内容创造是一件耗时又耗力的工作，能够创作高质量3D内容的建模工作者，不仅需要大量建模专业知识，同时还需兼备较好的审美素养和积淀。

一旦诸如Magic3D一类的文字到3D模型AI生成工具逐渐完善，辅助建模师进行基础模型的构建，甚至替代建模师进行一些简单基础的建模工作，能够大大提高建模效率，尽可能满足各领域对3D数字内容的巨大需求。

而关于AI在3D建模应用中的巨大潜力，也一直备受各个领域期待。

在中国首次完成AI+5G的心脏手术项目中，医疗团队就使用了AI技术与传统计算机视觉方法的混合架构，把2D图像转换为3D图像，搭建出了心脏的一些精细结构，只需2分钟即可高效完成，而且准确度也比传统方法提升了12%，这对结构性心脏病的治疗带来了重大突破。

今年，华为HMS Core 3D建模服务也发布了全新功能，将AI建模体验带给了非专业的普通用户。

通过AI能力用2D照片生成3D模型，通过对物体的不同角度进行拍摄，将 2D 图像转换为三角网格模型，生成的3D模型可供建筑师、设计师、艺术家和游戏开发者导入图形引擎，并可以在此基础上修改比例、更改材料或尝试不同的照明效果。

对于Magic3D，它将允许任何人在不需要特殊训练的情况下创建3D模型，连同图像调节生成功能，创新的技术为各种创意应用开辟了新途径，也让我们看见了AI建模的巨大潜力。

尽管团队目前依然在优化改善模型，但随着技术的发展和成熟，相信这将能加快普及3D合成，并促进游戏和VR行业的发展，在电影和电视的特效制作中实现落地应用，并带动3D建模技术赋能更多其他领域。

作者：苏芝霖 排版：孔瀚越

图片源于Q仔互联网冲浪所得，若有侵权，后台联系，Q仔滑跪删除~