您需要 登录 才可以下载或查看，没有账号？注册
x
本帖最后由 CG世界 于 2022-4-4 15:33 编辑
来源 CG世界
“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体
大家发现了么？最近虚拟角色越来越多，各个公司都搞出来一个自己的IP虚拟角色，而且很多都是超写实的那种。数字技术迅猛发展，也带动了写实数字人在各行业的高速发展，无论是话题度还是市场价值都是前所未有的增长，这就是元宇宙的价值!（超写实数字人AYAYI）
之前我们介绍很多国外的一些相关技术内容，今天我们来说说国内一家行业领头公司在这方面的技术研发，它就是原力数字科技。相信大家对原力并不陌生。原力数字科技是国内最早成立的CG领域公司之一了，这些年无论是在影视特效制作，还是在自己IP的开发和制作上都取得了相当不俗的成绩。其实他们除了优秀的CG创作和制作能力之外，还有在默默自主研发一些新技术。依托在动画制作领域长期积累的深厚技术经验，乘胜追击自主研发出一套基于深度学习的数字人面部动画解决方案，实现了从智能计算到动画生产制作的应用落地。
这套解决方案总共包含三个模块，那么今天我会带着大家分别从面部动作采集，面部动画绑定以及声音驱动这三个角度进行详细讲解…… 来吧，走进原力技术感受下！
1
OF_DeepFace: 基于神经网络的无标记点实时面部动画捕捉系统
大家都知道在制作3D角色面部动画的时候，很多时候是需要捕捉演员的表情动作然后映射到高精度的3D角色面部上的，这个过程是相当有挑战的。市面上一个普通的面部捕捉流程通常都需要昂贵的硬件来支持，而且流程相当复杂。最常见的就是需要表演者坐在一个布满大量专业摄像机的空间中，然后咔咔一顿扫描，但这种方式只能是在固定空间内进行面部表演。完事之后得到的动画数据还需要动画师进行大量的精修处理才能用到3D角色上。
目前市面上比较流行的商业软件，像什么Faceware等等也是都需要大量的人工手动校准的，用户需要将每帧视频上的关键点位置与3D虚拟角色的面部绑定进行一一对应，如果解算效果不理想，还得再进行手动修正。
一部普通的商业动画(时长1~1.5小时)通常涉及到数十万帧的动画数据，制作以及后续的3D虚拟角色面部动画数据精修，都需要花费大量时间以及人工成本，更不用说在这些高品质角色面部动画的背后需要投入的高级艺术家的制作经验和技能。 总的来说就是，目前的动画捕捉依旧存在大量的问题，人工成本高、效率低，最后还达不到预期的效果。
基于目前的现状，原力并没有“随波逐流”，而是为了动画产业进行了技术创新，直接推翻上述Bug，自主研发面部实时驱动技术提供了一套基于深度学习的无标记点三维角色面部动画制作流程系统。这套系统不需要你购买那些高端且昂贵的摄像硬件设备，也无需对每帧模型做多摄像机立体重建，更不必手动校正关键点与虚拟角色的面部绑定。只需要一套轻型红外摄像头盔，就能实现从演员表演到3D虚拟角色动画的实时转换。
基于深度学习的面部实时驱动系统底层是一套经过泛化的神经网络模块，可以根据演员表演时录制的红外视频直接解算出3D角色的面部绑定动画参数值。演员驱动角色动画这一过程完全由神经网络推理得出。由于神经网络具有极高的推理速度，即使在高精度的三维模型上OF_DeepFace同样可以表现出较高的性能，实现实际帧率达到60fps的极佳效果，可为实时直播提供一种全新的解决方案。如下所示，演员表演视频在实时游戏引擎中驱动的3D角色面部动画:OF_DeepFace也兼容各类3D面部绑定系统（包括Metahuman）。针对不同的面部绑定系统，系统中代码将随机生成训练数据用于网络训练，并生成针对此绑定系统的网络推理模型。
如下所示，展示了在UE引擎提供的MetaHuman绑定系统的驱动效果：OF_DeepFace的泛化性和稳定性在下面几种极端情况测试里可以体现。 在非头戴摄像机录制的图像中，演员头部可能会有比较大的抖动或者不是正面状态。在这些不是很理想的状态下，OF_DeepFace依旧可以解算出稳定准确的面部表情动画。 来看看下面这个GIF，这是从开源视频库RAVDESS中随机抽取的一个演员视频驱动的效果： 下面这个是从tiktok上随意选取的演唱视频驱动的效果： 以上两种数据都是网络模块在训练数据里完全没有见过的数据，这个网络模型的稳定性和泛化性由此可见一般。原力也会在基于固定摄像头的解决方案上进行更深入的探索，提供一套流程简洁效果精准的解决方案。 OF_DeepFace除了提供实时直播解算模块的解决方案，还提供与动画实际制作流程无缝融合的DCC软件解算模块解决方案。工具既可以在实时游戏引擎中以每秒60帧的速度从动捕实拍演员表演视频直接计算出3D角色面部表情动画数据，也可以作为动画制作流程中的前期步骤。动画师在制作开始时，直接导入当天演员拍摄视频得到对应虚拟角色的动画场景文件，然后在DCC软件中直接比较拍摄视频与深度学习解算结果的差异，并进行艺术性修整。 OF_DeepFace抛弃了传统表演拍摄(Performance capture)的复杂流程，解决了过往制作面部动画过程需要大量人工标注的痛点，提供了一套简洁方便、用户友好型的制作流程，大幅提升了动画生产制作流程的生产力。艺术家可以省去大量繁琐的手工修正工作，从而将更多的时间转移至提升艺术表现效果上。
2
OF_DeepRig: 基于神经网络的面部绑定加速模块 在实现OF_DeepFace解决方案的开发过程中，为提升原有3D角色面部绑定系统的效果以及交互速度，原力研发出一套基于神经网络的面部绑定加速系统。 在高保真度数字电影制作过程中，为了生成表情逼真的角色面部动画，绑定艺术家通常会为角色头部制作极其复杂的绑定控件以及修形变形器，导致绑定解算节点图非常多而且很复杂，场景负载过重，就会让软件的交互速度下降，同时影响后续动画制作环节的效率。事实上，绑定环节造成的速度下降一直是动画制作流程中的一个顽固痛点。每个动画制作公司都尝试使用各种传统方法来加速绑定解算过程，但由于DCC软件自身架构的限制，这些尝试并没有实现较为显著的突破。
为此原力研发团队提出了一种基于大数据的构想，模拟逼真的面部肌肉运动生成海量面部网格形变数据作为训练数据供深度神经网络学习。由于训练数据源自于肌肉模拟，因此能够实现比以往单纯使用Blendshape更加逼真的动画效果，同时此神经网络结构轻便，更赋予了它实时推理的特性。基于上述思路，原力研发团队开发了一款模拟面部肌肉运动的面部实时绑定系统——OF_DeepRig。OF_DeepRig在引擎中运行速率（左边）与原有绑定的运行速度（右边）对比
OF_DeepRig根据原有绑定结构，分析当前场景中所有绑定相关控制器，自动随机生成海量训练数据并发送到云端进行训练。
训练完成后，本地绑定文件中所有与面部绑定相关的节点以及它们之间的连接关系图被一个神经网络定制节点取代。这个神经网络定制节点带有原绑定系统的所有控制器控制参数，用户只需要调节控制参数就能实时在当前场景中看到3D角色面部上对应的变形效果。同时，此神经网络结构精简，推理速度可以达到实时，即使场景中有多个角色，仍然能够在场景中实现面部实时变形的效果。 OF_DeepRig以DCC软件插件形式嵌入到制作流程中，适配市面上各种面部绑定系统（包括3D高保真写实角色面部绑定或者卡通人物面部绑定系统），只需要3D角色面部绑定文件，就能生成对应的训练数据并训练对应的神经网络以及对应的节点，实现对动画艺术家透明的绑定加速，极大提高了DCC软件交互反应速度，颠覆性地改进了动画制作流程。
3
OF_Deep_Audio2Animation: 基于音频分析的面部动画驱动模块
在数字人物领域，如何能自动实时生成说话的准确嘴形动画一直是一个挑战，原力研发团队研发了一版从语音文件自动实时生成面部动画的应用模块——OF_Deep_Audio2Animation。OF_Deep_Audio2Animation基于一个从音频特征直接生成面部控制器数值的神经网络，训练好的神经网络接收音频数据特征作为输入，解算输出数字人对应的面部动画控制器参数，从而自动生成自然流畅的数字人面部动画。
OF_Deep_Audio2Animation提取音频数据的fbank特征结合deepspeech模块的音频特征具有一定的泛化性，面部控制器也是一套标准的面部控制器系统 (例如上文中的OF_DeepRig面部绑定系统), 从而实现了对语音数据的泛化以及对于多种数字人角色的泛化功能。OF_Deep_Audio2Animation既可以适应录制的自然语音，也可以适用于TTS(Text to Speech)生成的合成语音。下面的视频就是一段语音直接实时自动生成的数字人唇形动画.训练好的网络既可以部署成UE插件，通过改变台词来改变数字人面部动画的功能模块，也可以作为网络服务模块放到云端，根据服务请求解析音频，将深度学习网络解算结果推流到本地移动设备上，实现语音驱动逼真流畅的数字人角色动画。原力已经决定将上述技术对行业全面开放合作，如果您对以上技术感兴趣， 并愿意与原力研发部门进行更深入的交流与合作请发送邮件至 dev@of3d.com与原力联系。
end
原文链接：https://mp.weixin.qq.com/s/7qzT1Oe5mwMi1d34fEOzHw | 
