一部iPhone取代100个摄像头?用手机可扫描生成逼真头像了!
CG世界 17175 0
实名

通过了实名认证的内容创造者

发布于 2022-6-24 00:09:25

您需要 登录 才可以下载或查看,没有账号?注册

x
本帖最后由 CG世界 于 2022-6-24 00:10 编辑

平时看了太多人物头部捕捉的案例,其中的设备总是觉得非常复杂,价格昂贵,遥不可及…但是!这一次我发现了一个竟然用苹果手机就可以轻松捕捉,实在是神奇!
不知道大家是否熟悉Meta的Codec Avatars 2.0,该公司非常擅长使用先进的机器学习技术生成VR化身的方法,该技术重点是使用安装在耳机中的摄像头来观察人的眼睛和嘴巴,并虚拟的重现动作,一些细微的动作也可以捕捉到,比如眉毛动了、眯眼或者是揉鼻子等等。

56b7f1f3900080772ac90a0fe748085a.jpg

使用以前的版本生成单独的Codec Avatar需要一个名为MUGSY的专用捕获设备,该设备具有171个高分辨率摄像机。然后重点来了!最新版本允许通过带有前置深度传感器的智能手机扫描生成头像,这时候你就可以使用任何带有FaceID的Iphone型号手机进行生成。
用户只需要围绕任何的面孔平移手机,然后再次复制65个面部表情即可。
[micxp_wxonkey]wxv_2443927300111941632[/micxp_wxonkey]那么制作团队是如何用一部手机取代100个摄像头的?这项新技术研究依赖于通用先验模型“超网络”,一种为另一个神经网络生成权重的神经网络。研究人员表示,他们在先进的捕获装置的帮助下,通过扫描255个不同个体的面部来训练这个 UPM“超网络”。

e1848365b9f81b1a0f0ca7a7db37be21.gif

虽然现在取得了很大的成功,但是目前在处理眼睛和长发方面还是有一定的问题,而且也仅限于头,其他身体部位则无法被扫描。
该制作团队还公布了扫描过程的时间,我觉得扫描时间是可以接受的,仅需要3分半钟,而如果是用四个高端GPU的机器上生成头部扫描的话时间需要6个小时。这一技术未来很有可能将会和云GPU一起使用!
这个系统可以简单期待一下,毕竟用手机就可以实现扫描生成逼真的头像,还是非常便捷的,成本也很小,如果后续测试完成,不妨拿iphone试试

end
公众号地址:https://mp.weixin.qq.com/s/iyst58-f408HJgthv5wR8g

本帖被以下画板推荐:

内容主要涵盖影视特效,CG动国,前沿CG技术,作品欣賞
使用道具 <
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表