您需要 登录 才可以下载或查看，没有账号？注册
x
本帖最后由 CG世界 于 2022-8-28 13:41 编辑
惊呆了老铁，这是什么表演~
不会前空翻？没关系。不会跳舞？没关系。你就随便走一走，NeuMan一键合成个大动作。
苹果最近研发了一个Neuman框架，给出一段单一的人物视频，就能合成新动作和新背景，这也太酷了！‍
这年头谁还没点技能了，诶，再来一个侧手翻。
“你这背景太假了”
谁说的？假吗？！再说假小哥要跳舞了啊。
上才艺！这销魂的舞姿，妖娆中透着一丝不羁。
好吧好吧，背景确实是假的。
序列演示
如下图所示，只需要输入一段10秒左右的人物+场景视频（左上角)，就会得到右上角：一个人类NeRF模型。然后左下角是产生的新的背景，右下角是合成后人物在新背景下做出的新动作。
so cool ！还能做广播体操。
不仅仅是这些，NeuMan还可以把不同场景的两个人合在一起，这俩人仿佛在打招呼，“hi bro！初次见面，多多关照~” ‍
该研究训练了人体模型和场景模型，通过人和场景的粗略几何估计，创建了一个从观察空间到与典型姿势无关的空间的翘曲场，并在新的姿势下提供人类的高质量渲染。 简单说就是用单个视频训练NeRF的人物和场景模型，然后再合成一个新场景的过程。
不过，这技术目前还有一定的缺陷，第一，因为人类手部动作变化太大，因此生成新的视频中手部细节不是很准。第二，不能计算人物与地面零接触的情况，比如整个人跳起，后空翻等等，因为NeRF假设的是人与地面是始终接触的。
研究团队
这个神奇的NeuMan（来自单个视频的神经人体辐射场）是苹果机器学习研究中心和英属哥伦比亚大学合作完成的。第一作者是哥伦比亚大学计算机科学专业的一名四年级博士生—Wei Jiang。 小编查阅资料了解到Wei Jiang本科毕业于浙江工业大学的软件工程专业，硕士毕业于波士顿大学计算机科学专业，还是Kwang Moo Yi教授的学生，哥伦比亚大学计算机视觉实验室的一员，目前在苹果机器学习研究中心实习，研究重点是视觉定位、新视点合成和三维视觉。小编实在佩服！我在想晚上吃啥，人家在想发明啥，怪不得能把NeRF玩出新高度！
有了这个技术以后演员拍戏不用抠图了，可以一键直接合成。但就目前的效果可能达不到导演要求，Emmm，国产剧应该是可以的
感叹技术进步太快了啊，我怀疑我们的世界也是个虚拟的世界
end | 
