图像视频编辑领域一直发展迅速！每次都能给人眼前一亮的感觉。现如今，一款叫做CoDef的最新处理视频算法吸引了众多人的注意！直接在网上爆火！而幕后的开发团队则是由国人大神完成，参与的研究团体分别为香港科技大学、蚂蚁团队、浙江大学CAD&CG实验室共同努力所呈现的结果。

CoDef现在被称为更具真实性、更强细节、更高保真的视频重建算法，那么它的神奇之处到底在哪里？
下方的一个视频，就能告诉你全部答案。

从视频当中不难看出，除了画风，其它没有任何改变，而且甚至经过处理后的画面更加巧妙。

最厉害的一点是，无缝丝滑衔接，前一秒角色正在进行一个动作，下一秒就算换脸，也丝毫没有生硬作假的感觉，甚至说话口型都没有任何变化。

比如随风摆动的麦穗，有着更明显的对比

CoDef的全称为“the content deformation field”，作为一种新型视频表示，它由聚合整个视频中的静态内容的规范内容场和记录规范图像的变换（即从规范内容渲染）的时间变形场组成，到沿时间轴的每个单独的帧。给定一个目标视频，这两个字段被联合优化，通过精心定制的渲染管道重建它。此外团队建议在优化过程中引入一些正则化，促使规范内容字段继承语义（例如，物体形状）来自视频。通过这样的设计，CoDeF自然支持视频处理的提升图像算法，从某种意义上说，人们可以将图像算法应用于规范图像，并借助时间变形场轻松地将结果传播到整个视频。

通过实验证明，CoDeF无需任何训练即可将图像到图像的转换提升为视频到视频的转换，并将关键点检测提升为关键点跟踪。更重要的是，由于团队仅在一张图像上部署算法的提升策略，与现有的视频到视频转换方法相比，在处理的视频中实现了卓越的跨帧一致性，甚至能够跟踪非刚性物体，例如水和烟雾。

而且CoDeF还可以转换中国水墨画风，烟雾和水同样可以轻松识别转换。

更多精彩图片 请登录

]该项目目前在Twitter上非常火，也已在GitHub上开源，不少人觉得该算法未来将会用于电影事业，只需真人扮演，就可以转换为动画，这绝对是历史性的突破。

更多精彩图片 请登录

这么强悍的算法，背后的国人大神当然也要介绍一番。一共有三位主力军，分别是欧阳豪、Yujun Shen和Yuxi xiao。
其中，欧阳豪作为港科大博士，目前正在谷歌实习，曾经也在腾讯实验室实习过。Yujun Shen，目前在蚂蚁研究所担任高级研究科学家，研究方向在深度学习与3D视觉效果以及计算机视觉。而Yuxi Xiao是一位刚刚从武大本科毕业的大学生，接下来将会继续在浙大CAD&CG实验室进修读博。三位实力干将都是未来可期啊！真的狠狠期待未来又会研发出怎样的惊喜！

更多精彩图片 请登录

关于CoDeF想要了解更多内容，可以搜索下方论文链接。https://qiuyu96.github.io/CoDeF/https://arxiv.org/abs/2308.07926
End