背景概要

NUWA 4D 是FACEGOOD 最新自主研发的超高精度表情动画技术。相比Ziva RT、MetaHuman，FACEGOOD NUWA 4D一举解决了绑定、驱动两个技术难题。算法首次发表于2018年SIGGRAPH Asia Tokyo，属于新一代表情动画技术，对标Digital Domain Masquerade,ILM SnapperSolver ,Weta Digital FDLS,Ziva RT等先进技术，NUWA 4D 经过多年打磨终于完成了产品化并于近期开启beta测试，算法配套的软件及FACEGOOD SMART P2（腾讯 NExT Studios联合研发）双目智能一体机（图3）将在FACEGOOD Avatary上线。

图（1） SIGGRAPH Asia Tokyo 2018,FACEGOOD JELO“传统表情流程最大问题是线性解，因为绑定是线性的，演员表情重定向之后会出现比较大程度的衰减，在高运动频率，低震动幅度的微表情部分丢失较为严重，因此传统绑定是线性的，虽然有些公司试图将Blendshape，骨点推到四位数，但作用微乎其微，因为它在一个线性空间里面求解表情权重，权重是一维的，它假设每个极限表情的结果都是固定的，这就导致表情的融合也是固定的，但是真实人类的表情即便做同一个表情，每次的形变也是不同的，这个误差是delta，高精度表情仿真要解决问题就是把非线性的delta计算出来。”FACEGOOD创始人JELO介绍到。

图（2）传统4D扫描站 LightStage
NUWA 4D抛弃了传统表情绑定，仅使用了数十个表情基，这在传统绑定中是不可想象的，我们知道MetaHuman用了600多个表情基，那么如何在两位数表情基之下完成高精度表情计算？我们知道Corrective Blendshape就是打补丁，主要目的是为了重建非线性微表情。在绑定上，NUWA 4D以肌肉软体方式表达微表情，因为肌肉的运动是细微的，因此可以还原真实的非线性表情，甚至眼角跟内嘴唇的粘连都可以完整呈现。得到非线性解，最终结果以4D数据输出，4D数据是离散非结构化的数据，是无法操作的，后期艺术家普遍需要美术可控，由此NUWA 4D最终将结构化的表情数据输入到了表情控制器，所以它的结果完全可控，同时又兼具100%的表演还原度，在此基础上艺术家可以进行艺术调优工作。NUWA 4D从理论原型的提出，到最终管线的实现与落地经历了4年时间，攻克了诸多难题，从效果来看，在高运动频率，低运动幅度的极微小表情的解算上近乎完美，在软体大变形，例如嘴唇跟眼皮的粘连上也可以完美还原真实演员的表演。

可穿戴摄像系统

更多精彩图片 请登录

更多精彩图片 请登录

图（3） SMART P2双目智能一体机

在实际生产场景，演员往往需要奔跑走动做一些战术动作，需要匹配动捕，基站式扫描站演员被囚禁了 图（2），走不开，跳不动，无法匹配动捕，因而需要表情捕捉专用头戴摄像机（HMC）。“NUWA 4D算法虽然只需要两个普通的RGB摄像头，但是对帧同步有非常高要求，同时考虑到后续的实时解算，我们需要在本地运行FACEGOOD SeattlePro，这对算力的要求是非常高的，为此我们联合腾讯NExT Studios研发了新硬件。”JELO补充道。
FACEGOOD联合腾讯 NExT Studios共同研发了新一代表情捕捉硬件 SMART P2。SMART P2是便携式系统，非常方便穿戴，对比基站式扫描系统它可以匹配动捕 图（2），演员可以走动、奔跑、跳跃等。SMART P2主机（图3）算力强劲，在Intel® 12代酷睿处理器的加持下，采用精度为1080P双目工业级摄像头，峰值帧率高达240FPS，提供高精度图像采集，保证了图像细腻，还原度高，且在高温、高湿等极端环境下也具有稳定性；配合以FPGA高速同步数据采集芯片，能够对图像数据进行快速处理和精准传输，并在PC端实时呈现画面，也无需校正等操作，大幅提升了拍摄效率与质量；同时工作维持在高帧、稳定、超低延迟的400万3D点云数据跟踪、图传技术，面部表情实时同步、流畅还原，大大提高了拍摄的效率和质量。

非线性表情绑定

“NUWA 4D只需要两个普通RGB摄像头原生输出4D稠密点云数据，同时也兼容传统绑定，方便艺术家后期调优。”JELO补充道。非线性解需要从根本上脱离传统绑定，以传统绑定为例，Blendshape的变形被固定了下来，那么动画的变化空间就被限制了。首先，我们需要保证演员于Avatar之间的误差尽可能小，也就是求解delta。

更多精彩图片 请登录

图（4）民用级3DMM与FACEGOOD 工业级3DMM对比
表情动画有两个难点，第一，非线性绑定，尽可能接近真实的软体变形。第二，表情肌运动频率跟运动幅度的测量。在流程第一阶段，NUWA 4D需要对演员进行3D建模，通常只需要一个表情基。得到表情基之后，系统自动重建高精度FACS，这里FACEGOOD提出了一种工业级3DMM算法，在人脸的低频特征上还原度很高，如上图（4）所示，民用级别3DMM方法，在低频特征上基本上全部丢失了，重建的结果非常平坦，无法满足工业级高精度需求。

更多精彩图片 请登录

图（5）骨肌仿真系统

得到基础表情基之后，使用肌肉表达，用于软体大变形的仿真，FACEGOOD骨肌仿真系统主要解决软组织的大变形，我们知道传统3D角色只有蒙皮，里面是没有组织的，像是芭比娃娃，脸蛋一捏是瘪的，骨肌仿真系统就是从骨骼到肌肉，再到脂肪、筋膜，最后到皮肤，从解剖学上模拟真实生物的全过程，在计算结果上最优。

百万密集点云重建

更多精彩图片 请登录

图（6）

得到高精度非线性绑定之后就完成了流程的第一步，接下来就是表情跟踪。跟踪这一步至关重要，难点在于精确测量44块表情肌的纤细运动，最难的是那些高振动频率，但振幅非常小的肌肉群，例如那些分布在眼轮匝肌周围的运动是极其微弱又至关重要的，这直接决定了最终动画精度，为了可以精确测量肌肉运动，FACEGOOD用1亿份样本训练了一个高精度跟踪AI，可以说在跟踪上做到了跟无可跟的程度，例如在嘴唇的跟踪，所有极限表情，甚至嘴唇粘连都可以准确跟踪。“点云重建算法有很多，但都是民用级别的，主要差异在表情跟踪的精度，为了可以跟踪嘴唇粘连，我们需要跟踪表情肌肉跟皮肤的变形，最后再计算4D点云，这个数量是百万级的。”JELO补充道。FACEGOOD 仅仅使用两个普通的RGB摄像头就实现了密集点云重建，这个技术在行业中也是非常罕见的，同时因为是一个双目系统，在硬件上就要求同时跟踪两个视频，视频做到了完全帧同步，SMART P2只有0.01毫秒的误差，误差越小视频同步度就越高，这样一来4D数据就越平滑。

更多精彩图片 请登录

图（7）（SMART P2演示图）

非线性delta计算

更多精彩图片 请登录

图（8）非线性delta
口轮匝肌是人体最复杂的肌肉，它有6个变化维度，如图（8）所示，计算前的内嘴唇有明显的误差，计算之后4D网格与嘴唇完美贴合。4D就要计算delta，也就是计算非线性解，FACEGOOD骨肌仿真系统在此介入，基于肌肉系统的仿真结果修改顶点位置，同时保证了修改结果符合艺术家对虚拟角色的美术设定，不破坏原有虚拟造型。在此，高精度的网格已经生成，NUWA 4D针对视频进行逐帧3D重建，每帧都是一个OBJ文件，这就得到了最终的4D数据。
在实际生产场合动画师需要对数据进行2次调优，NUWA 4D计算得到4D之后可将数据降维到用户自己的绑定系统，为什么叫降维？以200点SSDR为例，4D RAW有10万点云，降维之后只有200骨点，精度降低了，但是非线性的部分没有损失，因此最终的动画精度基本上肉眼不可见，因为只有200根骨点，4D数据被压缩，压缩率高达1/500，也就是1帧1.14MB的原始数据压缩到了2.3KB，换句话说，一分钟动画60 * 30fps * 1.14MB = 2GB 4D数据，压缩后仅剩4MB，如此进入游戏实时运行就成为可能了。
以下是NUWA 4D流程视频

FACEGOOD 携手元腾火艳尝试NUWA 4D表情动画全流程制作基于4D硬件FACEGOOD SMART P2和NUWA 4D，FACEGOOD与国内顶尖的数字人开发团队元腾火艳展开实验，有了艺术团队的加持，经过长达90多天的打磨，两个团队共同探索出新一代数字人内容的制作流程，并完成了一段完整超写实数字人高精度面部表情动画的展示Demo。阿凯作为FACEGOOD虚拟算法工程师的身份在整个Demo中展示了NUWA 4D的技术效果。

以下为NUWA4D Demo视频

元腾火艳创始人CEO薛厦云表示：“元腾火艳致力于深挖超写实数字人类，在美术资产上是我们强项，与FACEGOOD开展合作，是一拍即合的决定。我们需要匹配高精度面捕表情来体现模型质量，同时FACEGOOD也需要超高精度的模型来呈现最顶级表情动画技术。而阿凯是我们公司成立后第一个数字人，当时对标的是eisko的Louise数字人，为了达到与真实人类无差的外观，阿凯经历了50次以上的修改。他是展示FACEGOOD NUWA 4D的最佳选择。这次共同完成NUWA 4D的Demo对双方都是一次巨大的挑战。”
元腾火艳团队介绍：起初在阿凯的形象打造上，团队心中有个固有的形象，想造一个区别于小鲜肉的胡子大叔，整体的细节就会变多，基本形象定下来后，很快了就进入了模型阶段，模型阶段是一个反复求真的过程，也是漫长的过程。为了追求人类生理机制的真实感、毛发的层次感和质感、眼球瞳孔的光泽、光线和环境等元腾火艳经过了无数次调整，从模型外观的，再到皮肤上细节的表现、表情基的打磨，最后到渲染上的处理上，前后打磨了两个月之久。

更多精彩图片 请登录

更多精彩图片 请登录

比如阿凯的头发处理是通过XGEN,YETI等毛发插件可以快速制作制作毛发效果，但要逼真写实还得在不断得在美术细节上有所突破。超写实毛发表现在于丰富的层次细节，从主层毛发和副层毛发从粗细和形态上也是有差异性。
材质渲染上前期他们使用了最为熟悉的了阿诺德（Aronld）流程。在皮肤材质上表现，阿诺德的物理无偏差渲染有着独特优势，很快就能直观看到效果的呈现，但要更深入细化皮肤，要做很多功夫，加了不少细化贴图，其中包括了动态颜色贴图、动态法线贴图、动态置换贴图等，使得无论静态还是动态在离线渲染下阿凯的质量都能保证。

更多精彩图片 请登录

阿凯的头部材质贴图节点图

更多精彩图片 请登录

更多精彩图片 请登录

更多精彩图片 请登录

阿凯的皮肤细节

更多精彩图片 请登录

元腾火艳在与FACEGOOD的4D实验过程中，针对表情优化和质量提升，进行了无数次碰面会议，模型表情的调整前后经历了30次以上的优化调整。为达到实时高质量画面元腾火艳将流程切换成UE5引擎，重新布局灯光及自研材质调试和渲染。完成这个复杂的过程，双方磨合了将近3个月。

NUWA4D幕后视频

FACEGOOD与元腾火艳表示未来将实现标准化流程，时间将缩短一半周期。这将为影视动画特效、AAA游戏、高精度超写实数字人等场景带来全新的技术方案，这也是国内团队在技术上对海外技术壁垒的挑战。相信NUWA 4D与SMART P2未来在Avatary上线将为行业带来惊喜，为艺术创作者带了更多的赋能。

end

公众号地址:对标国际一线！中国团队研发次世代表情动画技术NUWA4D

背景概要

NUWA 4D 是FACEGOOD 最新自主研发的超高精度表情动画技术。相比Ziva RT、MetaHuman，FACEGOOD NUWA 4D一举解决了绑定、驱动两个技术难题。算法首次发表于2018年SIGGRAPH Asia Tokyo，属于新一代表情动画技术，对标Digital Domain Masquerade,ILM SnapperSolver ,Weta Digital FDLS,Ziva RT等先进技术，NUWA 4D 经过多年打磨终于完成了产品化并于近期开启beta测试，算法配套的软件及FACEGOOD SMART P2（腾讯 NExT Studios联合研发）双目智能一体机（图3）将在FACEGOOD Avatary上线。

图（1） SIGGRAPH Asia Tokyo 2018,FACEGOOD JELO“传统表情流程最大问题是线性解，因为绑定是线性的，演员表情重定向之后会出现比较大程度的衰减，在高运动频率，低震动幅度的微表情部分丢失较为严重，因此传统绑定是线性的，虽然有些公司试图将Blendshape，骨点推到四位数，但作用微乎其微，因为它在一个线性空间里面求解表情权重，权重是一维的，它假设每个极限表情的结果都是固定的，这就导致表情的融合也是固定的，但是真实人类的表情即便做同一个表情，每次的形变也是不同的，这个误差是delta，高精度表情仿真要解决问题就是把非线性的delta计算出来。”FACEGOOD创始人JELO介绍到。

图（2）传统4D扫描站 LightStage
NUWA 4D抛弃了传统表情绑定，仅使用了数十个表情基，这在传统绑定中是不可想象的，我们知道MetaHuman用了600多个表情基，那么如何在两位数表情基之下完成高精度表情计算？我们知道Corrective Blendshape就是打补丁，主要目的是为了重建非线性微表情。在绑定上，NUWA 4D以肌肉软体方式表达微表情，因为肌肉的运动是细微的，因此可以还原真实的非线性表情，甚至眼角跟内嘴唇的粘连都可以完整呈现。得到非线性解，最终结果以4D数据输出，4D数据是离散非结构化的数据，是无法操作的，后期艺术家普遍需要美术可控，由此NUWA 4D最终将结构化的表情数据输入到了表情控制器，所以它的结果完全可控，同时又兼具100%的表演还原度，在此基础上艺术家可以进行艺术调优工作。NUWA 4D从理论原型的提出，到最终管线的实现与落地经历了4年时间，攻克了诸多难题，从效果来看，在高运动频率，低运动幅度的极微小表情的解算上近乎完美，在软体大变形，例如嘴唇跟眼皮的粘连上也可以完美还原真实演员的表演。

可穿戴摄像系统

更多精彩图片 请登录

更多精彩图片 请登录

图（3） SMART P2双目智能一体机

在实际生产场景，演员往往需要奔跑走动做一些战术动作，需要匹配动捕，基站式扫描站演员被囚禁了 图（2），走不开，跳不动，无法匹配动捕，因而需要表情捕捉专用头戴摄像机（HMC）。“NUWA 4D算法虽然只需要两个普通的RGB摄像头，但是对帧同步有非常高要求，同时考虑到后续的实时解算，我们需要在本地运行FACEGOOD SeattlePro，这对算力的要求是非常高的，为此我们联合腾讯NExT Studios研发了新硬件。”JELO补充道。
FACEGOOD联合腾讯 NExT Studios共同研发了新一代表情捕捉硬件 SMART P2。SMART P2是便携式系统，非常方便穿戴，对比基站式扫描系统它可以匹配动捕 图（2），演员可以走动、奔跑、跳跃等。SMART P2主机（图3）算力强劲，在Intel® 12代酷睿处理器的加持下，采用精度为1080P双目工业级摄像头，峰值帧率高达240FPS，提供高精度图像采集，保证了图像细腻，还原度高，且在高温、高湿等极端环境下也具有稳定性；配合以FPGA高速同步数据采集芯片，能够对图像数据进行快速处理和精准传输，并在PC端实时呈现画面，也无需校正等操作，大幅提升了拍摄效率与质量；同时工作维持在高帧、稳定、超低延迟的400万3D点云数据跟踪、图传技术，面部表情实时同步、流畅还原，大大提高了拍摄的效率和质量。

非线性表情绑定

“NUWA 4D只需要两个普通RGB摄像头原生输出4D稠密点云数据，同时也兼容传统绑定，方便艺术家后期调优。”JELO补充道。非线性解需要从根本上脱离传统绑定，以传统绑定为例，Blendshape的变形被固定了下来，那么动画的变化空间就被限制了。首先，我们需要保证演员于Avatar之间的误差尽可能小，也就是求解delta。

更多精彩图片 请登录

图（4）民用级3DMM与FACEGOOD 工业级3DMM对比
表情动画有两个难点，第一，非线性绑定，尽可能接近真实的软体变形。第二，表情肌运动频率跟运动幅度的测量。在流程第一阶段，NUWA 4D需要对演员进行3D建模，通常只需要一个表情基。得到表情基之后，系统自动重建高精度FACS，这里FACEGOOD提出了一种工业级3DMM算法，在人脸的低频特征上还原度很高，如上图（4）所示，民用级别3DMM方法，在低频特征上基本上全部丢失了，重建的结果非常平坦，无法满足工业级高精度需求。

更多精彩图片 请登录

图（5）骨肌仿真系统

得到基础表情基之后，使用肌肉表达，用于软体大变形的仿真，FACEGOOD骨肌仿真系统主要解决软组织的大变形，我们知道传统3D角色只有蒙皮，里面是没有组织的，像是芭比娃娃，脸蛋一捏是瘪的，骨肌仿真系统就是从骨骼到肌肉，再到脂肪、筋膜，最后到皮肤，从解剖学上模拟真实生物的全过程，在计算结果上最优。

百万密集点云重建

更多精彩图片 请登录

图（6）

得到高精度非线性绑定之后就完成了流程的第一步，接下来就是表情跟踪。跟踪这一步至关重要，难点在于精确测量44块表情肌的纤细运动，最难的是那些高振动频率，但振幅非常小的肌肉群，例如那些分布在眼轮匝肌周围的运动是极其微弱又至关重要的，这直接决定了最终动画精度，为了可以精确测量肌肉运动，FACEGOOD用1亿份样本训练了一个高精度跟踪AI，可以说在跟踪上做到了跟无可跟的程度，例如在嘴唇的跟踪，所有极限表情，甚至嘴唇粘连都可以准确跟踪。“点云重建算法有很多，但都是民用级别的，主要差异在表情跟踪的精度，为了可以跟踪嘴唇粘连，我们需要跟踪表情肌肉跟皮肤的变形，最后再计算4D点云，这个数量是百万级的。”JELO补充道。FACEGOOD 仅仅使用两个普通的RGB摄像头就实现了密集点云重建，这个技术在行业中也是非常罕见的，同时因为是一个双目系统，在硬件上就要求同时跟踪两个视频，视频做到了完全帧同步，SMART P2只有0.01毫秒的误差，误差越小视频同步度就越高，这样一来4D数据就越平滑。

更多精彩图片 请登录

图（7）（SMART P2演示图）

非线性delta计算

更多精彩图片 请登录

图（8）非线性delta
口轮匝肌是人体最复杂的肌肉，它有6个变化维度，如图（8）所示，计算前的内嘴唇有明显的误差，计算之后4D网格与嘴唇完美贴合。4D就要计算delta，也就是计算非线性解，FACEGOOD骨肌仿真系统在此介入，基于肌肉系统的仿真结果修改顶点位置，同时保证了修改结果符合艺术家对虚拟角色的美术设定，不破坏原有虚拟造型。在此，高精度的网格已经生成，NUWA 4D针对视频进行逐帧3D重建，每帧都是一个OBJ文件，这就得到了最终的4D数据。
在实际生产场合动画师需要对数据进行2次调优，NUWA 4D计算得到4D之后可将数据降维到用户自己的绑定系统，为什么叫降维？以200点SSDR为例，4D RAW有10万点云，降维之后只有200骨点，精度降低了，但是非线性的部分没有损失，因此最终的动画精度基本上肉眼不可见，因为只有200根骨点，4D数据被压缩，压缩率高达1/500，也就是1帧1.14MB的原始数据压缩到了2.3KB，换句话说，一分钟动画60 * 30fps * 1.14MB = 2GB 4D数据，压缩后仅剩4MB，如此进入游戏实时运行就成为可能了。
以下是NUWA 4D流程视频

FACEGOOD 携手元腾火艳尝试NUWA 4D表情动画全流程制作基于4D硬件FACEGOOD SMART P2和NUWA 4D，FACEGOOD与国内顶尖的数字人开发团队元腾火艳展开实验，有了艺术团队的加持，经过长达90多天的打磨，两个团队共同探索出新一代数字人内容的制作流程，并完成了一段完整超写实数字人高精度面部表情动画的展示Demo。阿凯作为FACEGOOD虚拟算法工程师的身份在整个Demo中展示了NUWA 4D的技术效果。

以下为NUWA4D Demo视频

元腾火艳创始人CEO薛厦云表示：“元腾火艳致力于深挖超写实数字人类，在美术资产上是我们强项，与FACEGOOD开展合作，是一拍即合的决定。我们需要匹配高精度面捕表情来体现模型质量，同时FACEGOOD也需要超高精度的模型来呈现最顶级表情动画技术。而阿凯是我们公司成立后第一个数字人，当时对标的是eisko的Louise数字人，为了达到与真实人类无差的外观，阿凯经历了50次以上的修改。他是展示FACEGOOD NUWA 4D的最佳选择。这次共同完成NUWA 4D的Demo对双方都是一次巨大的挑战。”
元腾火艳团队介绍：起初在阿凯的形象打造上，团队心中有个固有的形象，想造一个区别于小鲜肉的胡子大叔，整体的细节就会变多，基本形象定下来后，很快了就进入了模型阶段，模型阶段是一个反复求真的过程，也是漫长的过程。为了追求人类生理机制的真实感、毛发的层次感和质感、眼球瞳孔的光泽、光线和环境等元腾火艳经过了无数次调整，从模型外观的，再到皮肤上细节的表现、表情基的打磨，最后到渲染上的处理上，前后打磨了两个月之久。

更多精彩图片 请登录

更多精彩图片 请登录

比如阿凯的头发处理是通过XGEN,YETI等毛发插件可以快速制作制作毛发效果，但要逼真写实还得在不断得在美术细节上有所突破。超写实毛发表现在于丰富的层次细节，从主层毛发和副层毛发从粗细和形态上也是有差异性。
材质渲染上前期他们使用了最为熟悉的了阿诺德（Aronld）流程。在皮肤材质上表现，阿诺德的物理无偏差渲染有着独特优势，很快就能直观看到效果的呈现，但要更深入细化皮肤，要做很多功夫，加了不少细化贴图，其中包括了动态颜色贴图、动态法线贴图、动态置换贴图等，使得无论静态还是动态在离线渲染下阿凯的质量都能保证。

更多精彩图片 请登录

阿凯的头部材质贴图节点图

更多精彩图片 请登录

更多精彩图片 请登录

更多精彩图片 请登录

阿凯的皮肤细节

更多精彩图片 请登录

元腾火艳在与FACEGOOD的4D实验过程中，针对表情优化和质量提升，进行了无数次碰面会议，模型表情的调整前后经历了30次以上的优化调整。为达到实时高质量画面元腾火艳将流程切换成UE5引擎，重新布局灯光及自研材质调试和渲染。完成这个复杂的过程，双方磨合了将近3个月。

NUWA4D幕后视频

FACEGOOD与元腾火艳表示未来将实现标准化流程，时间将缩短一半周期。这将为影视动画特效、AAA游戏、高精度超写实数字人等场景带来全新的技术方案，这也是国内团队在技术上对海外技术壁垒的挑战。相信NUWA 4D与SMART P2未来在Avatary上线将为行业带来惊喜，为艺术创作者带了更多的赋能。

end

公众号地址:对标国际一线！中国团队研发次世代表情动画技术NUWA4D