来源 CG世界

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体

编辑：木木

今天来一个开篇互动！给大家无奖竞猜一下~

先大致给大家提供一些背景内容。2020和2021年，最火的应该也属ECCV 2020的神经辐射场（ (Neural Radiance Field, NERF)，将一个静态的场景用一个神经网络来建模，在网格训练完成后，从任意角度都可以渲染出非常清晰的场景图片，所以这一下子吸引了大批技术家的关注，更是纷纷对其进行深入研究。
所以！问题来了！像完成下图这样一个狐狸3D图需要多久？

更多精彩图片 请登录

“只需要五秒”！就问你绝不绝！针对这则重磅消息必须和大家分享一下！
这是英伟达最新技术！基于多分辨率哈希编码的即时神经图形基元（NERF），这一过程仅仅只需要5秒，简单来说，英伟达训练NERF模型最快只需要五秒！记住这一句就够了！

当然震惊的同时，首先咱得知道什么是NERF？
NERF是2020年诞生的，由加州大学伯克利分校、谷歌、加州大学圣地亚哥分校的研究者提出，功能就是用作2D图像到3D图像的一个转换，用静态图像生成多方位视角的3D图像，在刚提出时，整个过程并不轻松，非常耗时，一开始需要五个小时，后又到5分钟，其次成本也超出预算，所以NERF也一直在不断进行优化。可英伟达训练NERF直接将过程缩短到五秒！就连谷歌技术大佬Jon Barron都惊呆了！直接发推特表示：太不可思议！

更多精彩图片 请登录

这么厉害的事儿，咱们今天就来详细聊一聊！

更多精彩图片 请登录

因为我们开头浅说了一下，神经图形基元的训练和评估成本很高，所以这次英伟达采用了一种通用的新输入编码，一定程度上降低了成本，该编码在保证质量的前提下使用了更小的网络，从而减少浮点和内存访问操作的频率。

一个小型神经网络由可训练特征向量的多分辨率哈希表增强，得到的数值会通过随机梯度下降进行优化。多分辨率结构是一个相对简单的架构，通过使用完全融合的CUDA内核实现整个系统的并行性，重点就是最大限度的减少计算操作。

5秒完成狐狸的NERF模型。

更多精彩图片 请登录

英伟达此次展示了单个GPU上对多个任务进行即时神经图形基元训练，主要分为四个任务：神经辐射场（NERF）、神经千兆像素图像（Gigapixel images）、神经符号距离函数（SDF）和神经辐射缓存（NRC）。

NERF

更多精彩图片 请登录

这属于不同编码的重建质量的演示，NERF实现了对每个配置都进行了11000步训练，只改变输入编码和神经网络大小。可训练参数的数量（神经网络权重＋编码参数）和训练时间都如下图所示（数据在每张图的下方）。

更多精彩图片 请登录

八个合成NERF数据集的实时训练进度

更多精彩图片 请登录

关于NERF场景，按下图所示，左边是大型的自然的360度场景，右边的为具有许多遮蔽和镜面反射表面的复杂场景，这两者都得到了很好的支持，两种模型都有可以实时渲染，并在五分钟内通过随意捕获的数据进行训练。
左边的来自Iphone视频训练，右边来自34张真实照片重构的3D图像。

更多精彩图片 请登录

同样还支持从体积路径跟踪器的噪点输出中训练类似NERF的辐射场。光线在训练期间也会实时反馈到网络。

更多精彩图片 请登录

神经千兆像素图像

更多精彩图片 请登录

这一操作可以在几秒内训练高质量的神经图形基元，而且在十毫秒以内会通过1920×1080的分辨率进行渲染，其中神经网络学习从2D坐标到高分辨率图像的RGB颜色的映射。
下方图在观看时要注意，网络是从头开始训练的，它的速度非常快，如果不仔细看的话你根本发现不了~。

更多精彩图片 请登录

SDF

展示了各种SDF数据集的实时训练进度，训练数据是使用英伟达 Optix光线追踪框架从地面实况网格动态生成的。

更多精彩图片 请登录

NRC

神经缓存的直接可视化，其中网络预测每个像素路径的第一个非镜面反射顶点的出射辐射，而且根据实时路径跟踪器生成的光线进行在线训练。

左图明显使用了 Müller 等人研究的三角波编码结果（论文内容），右图为多分辨率哈希编码技术的效果，允许网络学习更清晰的细节，比如其中的阴影区域。

更多精彩图片 请登录

上述的文字内容基本是对开头视频的一个详细解释，想要了解更多的内容，还可以看下英伟达在论文《Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》中对此项目的一个详细解读。毕竟论文嘛！像咱们这种经常做技术岗位的，或许有的专业词汇确实不太懂，所以大家浅读一下就行！

以上是我对视频内容和论文内容的一个大概总结，反正用图像生成模型只需要五秒，咱就说是不是非常厉害了！但是也感受到了一些担忧，大家可别内卷了，准备外卷吧！不知道你们看到这一消息，第一反应是啥，可以评论区沟通沟通~

参考文献

论文地址：▼https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
Github地址：▼

https://github.com/NVlabs/instant-ngp

end

原文链接：https://mp.weixin.qq.com/s/K2V15k53STpFRJAKx4TMaQ

来源 CG世界

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体

编辑：木木

今天来一个开篇互动！给大家无奖竞猜一下~

先大致给大家提供一些背景内容。2020和2021年，最火的应该也属ECCV 2020的神经辐射场（ (Neural Radiance Field, NERF)，将一个静态的场景用一个神经网络来建模，在网格训练完成后，从任意角度都可以渲染出非常清晰的场景图片，所以这一下子吸引了大批技术家的关注，更是纷纷对其进行深入研究。
所以！问题来了！像完成下图这样一个狐狸3D图需要多久？

更多精彩图片 请登录

“只需要五秒”！就问你绝不绝！针对这则重磅消息必须和大家分享一下！
这是英伟达最新技术！基于多分辨率哈希编码的即时神经图形基元（NERF），这一过程仅仅只需要5秒，简单来说，英伟达训练NERF模型最快只需要五秒！记住这一句就够了！

当然震惊的同时，首先咱得知道什么是NERF？
NERF是2020年诞生的，由加州大学伯克利分校、谷歌、加州大学圣地亚哥分校的研究者提出，功能就是用作2D图像到3D图像的一个转换，用静态图像生成多方位视角的3D图像，在刚提出时，整个过程并不轻松，非常耗时，一开始需要五个小时，后又到5分钟，其次成本也超出预算，所以NERF也一直在不断进行优化。可英伟达训练NERF直接将过程缩短到五秒！就连谷歌技术大佬Jon Barron都惊呆了！直接发推特表示：太不可思议！

更多精彩图片 请登录

这么厉害的事儿，咱们今天就来详细聊一聊！

更多精彩图片 请登录

因为我们开头浅说了一下，神经图形基元的训练和评估成本很高，所以这次英伟达采用了一种通用的新输入编码，一定程度上降低了成本，该编码在保证质量的前提下使用了更小的网络，从而减少浮点和内存访问操作的频率。

一个小型神经网络由可训练特征向量的多分辨率哈希表增强，得到的数值会通过随机梯度下降进行优化。多分辨率结构是一个相对简单的架构，通过使用完全融合的CUDA内核实现整个系统的并行性，重点就是最大限度的减少计算操作。

5秒完成狐狸的NERF模型。

更多精彩图片 请登录

英伟达此次展示了单个GPU上对多个任务进行即时神经图形基元训练，主要分为四个任务：神经辐射场（NERF）、神经千兆像素图像（Gigapixel images）、神经符号距离函数（SDF）和神经辐射缓存（NRC）。

NERF

更多精彩图片 请登录

这属于不同编码的重建质量的演示，NERF实现了对每个配置都进行了11000步训练，只改变输入编码和神经网络大小。可训练参数的数量（神经网络权重＋编码参数）和训练时间都如下图所示（数据在每张图的下方）。

更多精彩图片 请登录

八个合成NERF数据集的实时训练进度

更多精彩图片 请登录

关于NERF场景，按下图所示，左边是大型的自然的360度场景，右边的为具有许多遮蔽和镜面反射表面的复杂场景，这两者都得到了很好的支持，两种模型都有可以实时渲染，并在五分钟内通过随意捕获的数据进行训练。
左边的来自Iphone视频训练，右边来自34张真实照片重构的3D图像。

更多精彩图片 请登录

同样还支持从体积路径跟踪器的噪点输出中训练类似NERF的辐射场。光线在训练期间也会实时反馈到网络。

更多精彩图片 请登录

神经千兆像素图像

更多精彩图片 请登录

这一操作可以在几秒内训练高质量的神经图形基元，而且在十毫秒以内会通过1920×1080的分辨率进行渲染，其中神经网络学习从2D坐标到高分辨率图像的RGB颜色的映射。
下方图在观看时要注意，网络是从头开始训练的，它的速度非常快，如果不仔细看的话你根本发现不了~。

更多精彩图片 请登录

SDF

展示了各种SDF数据集的实时训练进度，训练数据是使用英伟达 Optix光线追踪框架从地面实况网格动态生成的。

更多精彩图片 请登录

NRC

神经缓存的直接可视化，其中网络预测每个像素路径的第一个非镜面反射顶点的出射辐射，而且根据实时路径跟踪器生成的光线进行在线训练。

左图明显使用了 Müller 等人研究的三角波编码结果（论文内容），右图为多分辨率哈希编码技术的效果，允许网络学习更清晰的细节，比如其中的阴影区域。

更多精彩图片 请登录

上述的文字内容基本是对开头视频的一个详细解释，想要了解更多的内容，还可以看下英伟达在论文《Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》中对此项目的一个详细解读。毕竟论文嘛！像咱们这种经常做技术岗位的，或许有的专业词汇确实不太懂，所以大家浅读一下就行！

以上是我对视频内容和论文内容的一个大概总结，反正用图像生成模型只需要五秒，咱就说是不是非常厉害了！但是也感受到了一些担忧，大家可别内卷了，准备外卷吧！不知道你们看到这一消息，第一反应是啥，可以评论区沟通沟通~

参考文献

论文地址：▼https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
Github地址：▼

https://github.com/NVlabs/instant-ngp

end

原文链接：https://mp.weixin.qq.com/s/K2V15k53STpFRJAKx4TMaQ