点击上方蓝字CG世界关注我们
“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体
人工智能领域持续蓬勃发展，几乎每天都有大事发生。
就比如，Meta最近推出了其新开发的AI系统→3DGen，可以根据文字描述快速创建3D模型（比如游戏角色、物品或场景）。[micxp_wxonkey]wxv_3536872478923161602[/micxp_wxonkey]通常情况下，进行个性化3D内容创作耗时且困难，而3DGen可以帮助普通人轻松创建3D内容。3DGen可用于搭建“元宇宙”中的大型虚拟世界，这对游戏开发、VR应用以及电影特效制作都将是助力。


作为Meta力推的新综合AI系统，3DGen具有以下几大特点：特点·能在一分钟内，生成更符合文本描述、更高质量的3D模型，同时支持基于物理的渲染（PBR），比其他同类方案快了3-10倍。·可以生成高分辨率的纹理和完整的材质贴图。且一旦生成3D模型，能够在20秒内快速编辑和定制模型纹理。同样的方法，无需修改就可以应用于艺术家创作的3D网格的纹理处理。·系统具有可扩展性且自动化程度高，能一次性完成从输入到最终3D资产输出的整个过程，可以处理更多、更复杂的任务。

除了介绍3DGen管线的整体情况，Meta还揭示了这一AI系统的两大组成部分：用于纹理生成的Meta 3D TextureGen和用于网格创建的3D AssetGen。其中，Meta 3D TextureGen是一种新的前馈方法（AI技术，信息只向前传递，不会循环，通常能更快地处理数据）。由两个相连的AI网络组成，目的是在极短时间内为任意复杂3D模型生成纹理，生成的纹理不仅质量高，且能在整个模型上保持一致性。[micxp_wxonkey]wxv_3536983118807433218[/micxp_wxonkey]具体方法是通过在2D空间中，将文字描述生成图像的能力与对3D结构的理解相结合，并将其融合成完整且高分辨率的UV纹理图。此外，Meta团队还引入了一个纹理增强网络，能够以任意比例放大生成的纹理，生成的像素分辨率达到4K级别。
简而言之，Meta 3D TextureGen“工作”的两个主要步骤就是：首先用文字描述来生成初步纹理；然后调整这个纹理使其适合3D模型的形状。为了让纹理正确贴到3D模型表面，就需要用到UV贴图。

更多精彩图片 请登录

听起来是不是很强大，感觉纹理创建和应用都变得方便简捷又快速精确了呢

。既然都说了是助力艺术家工作，那自然就有艺术家迫不及待跑去认真研读技术论文了。但就是这个研究结果，有那么一点出乎意料。上周，角色艺术家Liz Edwards在认真研究这款AI是如何处理UV贴图之后，发出“感慨”：万万没想到，我们和人工智能之间的差距就这样缩小了。原来它们也用Blender啊，一款我们早就拥有的免费工具

。

更多精彩图片 请登录

是的，强大如人工智能，有时候也依赖艺术家钟爱的免费工具们。比如TextureGen，就需要Blender的一些功能加持，才能顺利完成工作。

更多精彩图片 请登录

在TextureGen相关论文的3.2节【UV贴图】部分，Meta团队是这样表述的：
3.2 UV贴图研发团队将每个通道烘焙到UV空间的纹理中。这个过程包括为每个形状生成UV布局，并将纹理烘焙到图像中。
UV布局：内部数据集包含了不同来源的对象，这些对象中有不同的UV布局，单个对象可能包含多个纹理文件。这种情况下，每个部分的UV布局，都可能与映射到不同纹理的部分的布局重叠。团队需要一个能够将形状映射到单个方形纹理上，且没有重叠的UV布局。为此，团队自动重新排列3D形状的UV岛，使它们在UV空间中互不重叠。而对于没有合适UV贴图的3D模型，团队则使用Blender的Smart Project功能生成一个新的UV贴图，并筛掉那些无法产生理想UV布局的3D模型。只能说，Blender真的帮了TextureGen很多“忙”。开发团队使用Blender来执行烘焙过程，类似于渲染3D模型，但不是创建最终图像，而是将信息写入UV贴图的对应位置。"合成"通道用作训练AI的目标图像；而"位置"和"法线"通道则用作网络的条件输入，提供额外信息。

更多精彩图片 请登录

除了发现3DGen并没有那么神，Liz Edwards还注意到Meta使用了斯坦福3D扫描存储库的2个模型，以及来自Sketchfab网站的54个带CC许可证但没有“No-AI”的模型。对此，她友情提示各位艺术家：如果不想为AI实验“做贡献”，可要好好检查下自己作品的标签了

更多精彩图片 请登录

…

更多精彩图片 请登录

虽然3DGen被发现多少加了那么点小滤镜，但也得承认整体还是挺棒棒哒。要说这几年AI生成3D模型的赛道那是真的又挤又卷，百花齐放、百家争鸣；光是CG世界给大家介绍过的，恐怕两只手都要数不过来。像是2022年，Google Research推出的DreamFusion：将文本到2D图像扩散的模型与神经辐射场（NeRF）相结合，生成质量适合于AR项目或作为雕刻的基础网格的带纹理3D模型。最重要，它不需要一组真实的3D模型来用作培训数据，为开发实用的、基于大众市场AI的文本到3D工具铺平了道路。

更多精彩图片 请登录

转眼又到去年6月，NVIDIA发布了新技术Neuralangelo，一种基于人工智能的替代传统摄影测量工具中使用多视角立体（MVS）方法，可直接从视频快速，精准的创建3D模型。Neuralangelo可以转换具有复杂真实世界纹理和复杂材质的物体（如屋顶瓦片、玻璃板和光滑闪亮的大理石）。提供的3D重建能力主打一个精细、准确，未来将能够导入从小型雕像到大型建筑的精细对象，可用于虚拟环境、设置参考重建和游戏或数字替身，帮助创作者在数字世界中重建真实世界。

更多精彩图片 请登录

字节跳动紧随其后，同年9月发布名为MVDream的多视角扩散模型，可以根据任意给定的文本提示生成物体/场景的多视角图像。通过利用在大规模Web数据集和从3D资产中渲染的多视角数据集上预先训练的图像扩散模型，由此产生的多视角扩散模型同时结合了2D扩散模型的适应性和3D数据的一致性。可以通过分数蒸馏采样为3D生成内容提供有价值的多视角参考，通过解决3D一致性问题极大地提高了现有2D提升方法的稳定性。

更多精彩图片 请登录

不光卷技术，他们还卷生成时间，既要好又要快。比如图片生成3D模型平台-Artefacts.Ai。利用Gen AI将想法转化为3D资产。ArtefactsAi不单单只能文本转3D，还可以图像转高分辨率3D模型。更重要的一点是，不需要任何的编码知识就可以使用它！！上传对象照片，等不到2分钟就能生成3D模型了，比做一杯奶茶的时间还快~

更多精彩图片 请登录

谁承想，没过多久生成的时间又从2分钟缩短到了1分

更多精彩图片 请登录

。例如我们美编小松蘑，不久前给大家介绍的Meshy 3。作为Meshy在生成式AI方面的最新进展，文本到3D（Text to 3D ）有了突破性的更新，仅仅一分钟就能生成一个3D模型，且让图生3D(Image to 3D ）的模型、贴图更加真实自然。

更多精彩图片 请登录

实在是太多，说不完根本说不完。技术更迭快到让人心慌

更多精彩图片 请登录

，也难怪大家都在感慨完全依赖人类3D设计师的时代已经结束了，搞不好哪天就因为AI发展而失业了。

更多精彩图片 请登录

诚然，AI正在从强大朝着越来越强大迈进，厉害的AI今后只会越来越多。我们应保持警醒，以防在变革来临之时掉队；但也不必过分忧虑，时时刻刻担心会被AI取代。毕竟…它们有时候可能并不像看起来那么“神通广大”~
end

更多精彩图片 请登录

更多精彩图片 请登录

好看，真帅！

更多精彩图片 请登录

tyFlow把AI带入Max；Maya绑定插件免费；Corona12等软件插件更新汇总

更多精彩图片 请登录

《头脑特工队2》幕后制作技术

点击上方蓝字CG世界关注我们
“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体
人工智能领域持续蓬勃发展，几乎每天都有大事发生。
就比如，Meta最近推出了其新开发的AI系统→3DGen，可以根据文字描述快速创建3D模型（比如游戏角色、物品或场景）。[micxp_wxonkey]wxv_3536872478923161602[/micxp_wxonkey]通常情况下，进行个性化3D内容创作耗时且困难，而3DGen可以帮助普通人轻松创建3D内容。3DGen可用于搭建“元宇宙”中的大型虚拟世界，这对游戏开发、VR应用以及电影特效制作都将是助力。


作为Meta力推的新综合AI系统，3DGen具有以下几大特点：特点·能在一分钟内，生成更符合文本描述、更高质量的3D模型，同时支持基于物理的渲染（PBR），比其他同类方案快了3-10倍。·可以生成高分辨率的纹理和完整的材质贴图。且一旦生成3D模型，能够在20秒内快速编辑和定制模型纹理。同样的方法，无需修改就可以应用于艺术家创作的3D网格的纹理处理。·系统具有可扩展性且自动化程度高，能一次性完成从输入到最终3D资产输出的整个过程，可以处理更多、更复杂的任务。

除了介绍3DGen管线的整体情况，Meta还揭示了这一AI系统的两大组成部分：用于纹理生成的Meta 3D TextureGen和用于网格创建的3D AssetGen。其中，Meta 3D TextureGen是一种新的前馈方法（AI技术，信息只向前传递，不会循环，通常能更快地处理数据）。由两个相连的AI网络组成，目的是在极短时间内为任意复杂3D模型生成纹理，生成的纹理不仅质量高，且能在整个模型上保持一致性。[micxp_wxonkey]wxv_3536983118807433218[/micxp_wxonkey]具体方法是通过在2D空间中，将文字描述生成图像的能力与对3D结构的理解相结合，并将其融合成完整且高分辨率的UV纹理图。此外，Meta团队还引入了一个纹理增强网络，能够以任意比例放大生成的纹理，生成的像素分辨率达到4K级别。
简而言之，Meta 3D TextureGen“工作”的两个主要步骤就是：首先用文字描述来生成初步纹理；然后调整这个纹理使其适合3D模型的形状。为了让纹理正确贴到3D模型表面，就需要用到UV贴图。

更多精彩图片 请登录

听起来是不是很强大，感觉纹理创建和应用都变得方便简捷又快速精确了呢

。既然都说了是助力艺术家工作，那自然就有艺术家迫不及待跑去认真研读技术论文了。但就是这个研究结果，有那么一点出乎意料。上周，角色艺术家Liz Edwards在认真研究这款AI是如何处理UV贴图之后，发出“感慨”：万万没想到，我们和人工智能之间的差距就这样缩小了。原来它们也用Blender啊，一款我们早就拥有的免费工具

。

更多精彩图片 请登录

是的，强大如人工智能，有时候也依赖艺术家钟爱的免费工具们。比如TextureGen，就需要Blender的一些功能加持，才能顺利完成工作。

更多精彩图片 请登录

在TextureGen相关论文的3.2节【UV贴图】部分，Meta团队是这样表述的：
3.2 UV贴图研发团队将每个通道烘焙到UV空间的纹理中。这个过程包括为每个形状生成UV布局，并将纹理烘焙到图像中。
UV布局：内部数据集包含了不同来源的对象，这些对象中有不同的UV布局，单个对象可能包含多个纹理文件。这种情况下，每个部分的UV布局，都可能与映射到不同纹理的部分的布局重叠。团队需要一个能够将形状映射到单个方形纹理上，且没有重叠的UV布局。为此，团队自动重新排列3D形状的UV岛，使它们在UV空间中互不重叠。而对于没有合适UV贴图的3D模型，团队则使用Blender的Smart Project功能生成一个新的UV贴图，并筛掉那些无法产生理想UV布局的3D模型。只能说，Blender真的帮了TextureGen很多“忙”。开发团队使用Blender来执行烘焙过程，类似于渲染3D模型，但不是创建最终图像，而是将信息写入UV贴图的对应位置。"合成"通道用作训练AI的目标图像；而"位置"和"法线"通道则用作网络的条件输入，提供额外信息。

更多精彩图片 请登录

除了发现3DGen并没有那么神，Liz Edwards还注意到Meta使用了斯坦福3D扫描存储库的2个模型，以及来自Sketchfab网站的54个带CC许可证但没有“No-AI”的模型。对此，她友情提示各位艺术家：如果不想为AI实验“做贡献”，可要好好检查下自己作品的标签了

更多精彩图片 请登录

…

更多精彩图片 请登录

虽然3DGen被发现多少加了那么点小滤镜，但也得承认整体还是挺棒棒哒。要说这几年AI生成3D模型的赛道那是真的又挤又卷，百花齐放、百家争鸣；光是CG世界给大家介绍过的，恐怕两只手都要数不过来。像是2022年，Google Research推出的DreamFusion：将文本到2D图像扩散的模型与神经辐射场（NeRF）相结合，生成质量适合于AR项目或作为雕刻的基础网格的带纹理3D模型。最重要，它不需要一组真实的3D模型来用作培训数据，为开发实用的、基于大众市场AI的文本到3D工具铺平了道路。

更多精彩图片 请登录

转眼又到去年6月，NVIDIA发布了新技术Neuralangelo，一种基于人工智能的替代传统摄影测量工具中使用多视角立体（MVS）方法，可直接从视频快速，精准的创建3D模型。Neuralangelo可以转换具有复杂真实世界纹理和复杂材质的物体（如屋顶瓦片、玻璃板和光滑闪亮的大理石）。提供的3D重建能力主打一个精细、准确，未来将能够导入从小型雕像到大型建筑的精细对象，可用于虚拟环境、设置参考重建和游戏或数字替身，帮助创作者在数字世界中重建真实世界。

更多精彩图片 请登录

字节跳动紧随其后，同年9月发布名为MVDream的多视角扩散模型，可以根据任意给定的文本提示生成物体/场景的多视角图像。通过利用在大规模Web数据集和从3D资产中渲染的多视角数据集上预先训练的图像扩散模型，由此产生的多视角扩散模型同时结合了2D扩散模型的适应性和3D数据的一致性。可以通过分数蒸馏采样为3D生成内容提供有价值的多视角参考，通过解决3D一致性问题极大地提高了现有2D提升方法的稳定性。

更多精彩图片 请登录

不光卷技术，他们还卷生成时间，既要好又要快。比如图片生成3D模型平台-Artefacts.Ai。利用Gen AI将想法转化为3D资产。ArtefactsAi不单单只能文本转3D，还可以图像转高分辨率3D模型。更重要的一点是，不需要任何的编码知识就可以使用它！！上传对象照片，等不到2分钟就能生成3D模型了，比做一杯奶茶的时间还快~

更多精彩图片 请登录

谁承想，没过多久生成的时间又从2分钟缩短到了1分

更多精彩图片 请登录

。例如我们美编小松蘑，不久前给大家介绍的Meshy 3。作为Meshy在生成式AI方面的最新进展，文本到3D（Text to 3D ）有了突破性的更新，仅仅一分钟就能生成一个3D模型，且让图生3D(Image to 3D ）的模型、贴图更加真实自然。

更多精彩图片 请登录

实在是太多，说不完根本说不完。技术更迭快到让人心慌

更多精彩图片 请登录

，也难怪大家都在感慨完全依赖人类3D设计师的时代已经结束了，搞不好哪天就因为AI发展而失业了。

更多精彩图片 请登录

诚然，AI正在从强大朝着越来越强大迈进，厉害的AI今后只会越来越多。我们应保持警醒，以防在变革来临之时掉队；但也不必过分忧虑，时时刻刻担心会被AI取代。毕竟…它们有时候可能并不像看起来那么“神通广大”~
end

更多精彩图片 请登录

更多精彩图片 请登录

好看，真帅！

更多精彩图片 请登录

tyFlow把AI带入Max；Maya绑定插件免费；Corona12等软件插件更新汇总

更多精彩图片 请登录

《头脑特工队2》幕后制作技术