AI最近迭代的实在是太快了，快到让人感到“措手不及”的。这不？NVIDIA又发布了一个新技术Neuralangelo，从视频可直接快速，精准的创建3D模型。什么是Neuralangelo？Neuralangelo是Nvidia在神经表面重建方面最新研究的技术成果，一种基于人工智能的替代传统摄影测量工具中使用多视角立体（MVS）方法。Neuralangelo采用Instant NGP作为3D场景的神经渲染表示，通过神经表面渲染从多个不同的视图进行优化。Neuralangelo从视频剪辑中沿着相机视图对3D位置进行采样，并使用多分辨率哈希编码对位置进行编码。Neuralangelo提供的过程简单而有效：使用高阶导数的数值梯度加上从粗到细的优化策略，为神经网络提供了多分辨率哈希编码的能力。

Neuralangelo可以转换具有复杂真实世界纹理和复杂材质的物体，如屋顶瓦片、玻璃板和光滑闪亮的大理石。此方法的写实度输出让3D重建更加实用。“Neuralangelo提供的3D重建能力将给创作者带来巨大的好处，帮助他们在数字世界中重建真实世界，”论文的合著者、高级研究总监刘明宇说。“这个工具最终将能够导入从小型雕像到大型建筑的精细对象，可用于虚拟环境、设置参考重建和游戏或数字替身。”

更多精彩图片 请登录

Neuralangelo与现有的神经表面重建方法有何不同？Neuralangelo本身使用即时神经图形基元（Instant NGP），与可下载的Instant NeRF工具集中使用的底层3D场景的神经表示相同。这里使用了一种新的从粗到细的优化策略进行了改进，Nvidia的博客文章将其比作雕塑家凿掉一块石头来制作雕像。这个比喻是以人工智能模型的名义出现的，视频重建的对象使用了米开朗基罗的大卫，我们可以看到仅仅通过视频片段，就能快速3D建模，而且精度相当可。

更多精彩图片 请登录

Neuralangelo如何比现有技术更好？主打的就是一个精细，精准。NVIDIA介绍说，Neuralangelo重建表面细节比现有方法更准确。除了大卫雕像，英伟达的测试对象还包括一辆平板卡车和圣克拉拉校区，该校区由Neuralangelo根据航拍镜头拍摄的视频重建。

更多精彩图片 请登录

更多精彩图片 请登录

为什么不直接使用摄影测量？目前我们大多数都在用的基于照片的摄影测量技术是使用“体积占有网格”来表示它正在捕捉的场景。如果来自各种原始相机视图的相应投射图像像素之间存在紧密的颜色恒定性，那么访问摄影测量中的每个体素并将其标记为“占用”。当使用自动曝光或拍摄反射表面材质时，光度一致性假设通常会失败，这在现实世界中非常常见。在进行NeRF 3D重建时，NeRF技术不再需要跨多个视图的这种颜色恒定性约束。相比之下，NeRF实现了具有视图相关效果的真实感，与摄影测量不同的是，捕捉到了表面根据视角变化的方式。[micxp_wxonkey]wxv_2954353987406053382[/micxp_wxonkey]不过目前NVIDIA方面没有发布Neuralangelo的源代码，从演示视频看，重建的模型还不错，期待发布具体可操作工具的那天。
end
公众号链接：https://mp.weixin.qq.com/s/Kofv1k5Z2_jrtGnX_T5B5w

AI最近迭代的实在是太快了，快到让人感到“措手不及”的。这不？NVIDIA又发布了一个新技术Neuralangelo，从视频可直接快速，精准的创建3D模型。什么是Neuralangelo？Neuralangelo是Nvidia在神经表面重建方面最新研究的技术成果，一种基于人工智能的替代传统摄影测量工具中使用多视角立体（MVS）方法。Neuralangelo采用Instant NGP作为3D场景的神经渲染表示，通过神经表面渲染从多个不同的视图进行优化。Neuralangelo从视频剪辑中沿着相机视图对3D位置进行采样，并使用多分辨率哈希编码对位置进行编码。Neuralangelo提供的过程简单而有效：使用高阶导数的数值梯度加上从粗到细的优化策略，为神经网络提供了多分辨率哈希编码的能力。

Neuralangelo可以转换具有复杂真实世界纹理和复杂材质的物体，如屋顶瓦片、玻璃板和光滑闪亮的大理石。此方法的写实度输出让3D重建更加实用。“Neuralangelo提供的3D重建能力将给创作者带来巨大的好处，帮助他们在数字世界中重建真实世界，”论文的合著者、高级研究总监刘明宇说。“这个工具最终将能够导入从小型雕像到大型建筑的精细对象，可用于虚拟环境、设置参考重建和游戏或数字替身。”

更多精彩图片 请登录

Neuralangelo与现有的神经表面重建方法有何不同？Neuralangelo本身使用即时神经图形基元（Instant NGP），与可下载的Instant NeRF工具集中使用的底层3D场景的神经表示相同。这里使用了一种新的从粗到细的优化策略进行了改进，Nvidia的博客文章将其比作雕塑家凿掉一块石头来制作雕像。这个比喻是以人工智能模型的名义出现的，视频重建的对象使用了米开朗基罗的大卫，我们可以看到仅仅通过视频片段，就能快速3D建模，而且精度相当可。

更多精彩图片 请登录

Neuralangelo如何比现有技术更好？主打的就是一个精细，精准。NVIDIA介绍说，Neuralangelo重建表面细节比现有方法更准确。除了大卫雕像，英伟达的测试对象还包括一辆平板卡车和圣克拉拉校区，该校区由Neuralangelo根据航拍镜头拍摄的视频重建。

更多精彩图片 请登录

更多精彩图片 请登录

为什么不直接使用摄影测量？目前我们大多数都在用的基于照片的摄影测量技术是使用“体积占有网格”来表示它正在捕捉的场景。如果来自各种原始相机视图的相应投射图像像素之间存在紧密的颜色恒定性，那么访问摄影测量中的每个体素并将其标记为“占用”。当使用自动曝光或拍摄反射表面材质时，光度一致性假设通常会失败，这在现实世界中非常常见。在进行NeRF 3D重建时，NeRF技术不再需要跨多个视图的这种颜色恒定性约束。相比之下，NeRF实现了具有视图相关效果的真实感，与摄影测量不同的是，捕捉到了表面根据视角变化的方式。[micxp_wxonkey]wxv_2954353987406053382[/micxp_wxonkey]不过目前NVIDIA方面没有发布Neuralangelo的源代码，从演示视频看，重建的模型还不错，期待发布具体可操作工具的那天。
end
公众号链接：https://mp.weixin.qq.com/s/Kofv1k5Z2_jrtGnX_T5B5w