原来这个出自他手!全才CG大佬用StyleGAN玩出了各种花样艺术
卡通化作品展示 39875 2
实名

通过了实名认证的内容创造者

发布于 2022-4-10 20:37:54

您需要 登录 才可以下载或查看,没有账号?注册

x
            
来源 CG世界
“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体

这几天很多人让我们介绍一下之前在视频号上发的一个小姐姐表情捕捉后生成的卡通形象的视频,还有想让我们联系联系这个大佬进行采访的,采访没有,不过详细介绍下还是可以实现的。

咱们先介绍一下作者

fc077f3a29981d22be090f2684489342.png
NATHAN SHIPLEY美国
Goodby Silverstein&Partners技术总监

大佬拥有十多年从业经验,曾经做过技术总监,创意总监,视效主管,创意总监和动画师,还能指导VFX并进行后期制作。他的兴趣也是相当广泛,喜欢3D动画,流体模拟和数据可视化,也玩无人机。目前正在探索艺术与人工智能的结合,利用机器学习创造生成艺术。他的作品还曾在国家广播和互动运动,超级碗现场并被萨尔瓦多·达利博物馆永久收藏。
他工作时会使用到的软件有Nuke,Maya,After Effects,Unity和Cinema4D,还用Python,C#和Javascript进行编码。
在他的个人网站中,介绍了他所有的工作和作品(http://www.nathanshipley.com/gan
在2019年10月大佬开始用StyleGAN进行一些图形和艺术的学习并发布到自己的网站上。可能有的小伙伴对这个系统不了解,我简单介绍一下,StyleGAN是英伟达发布的一个先进的高分辨率图像合成方法,它生成的图像非常逼真,可以在各种数据集上工作。除了逼真的人像,StyleGAN还可以用于生成其他动物,汽车甚至房间。
接下来咱们就着重说说他在GAN实验中的工作进程。
GAN Explorations 001—008各种风格图片学习过程
到目前为止,大佬一共发布了自己的20个GAN实验,前8个都是使用StyleGAN对从WikiArt上找来的图片进行艺术和图形的学习。这些图片涉及的风格多种多样,有人物素描、波普艺术、立体主义还有视觉艺术家Beeple的作品甚至是专辑封面都被他拿来学习,下面放上大佬的一些“学习成果”。




神经网络理解的图形+艺术


人物素描/波普艺术双刻画


波普艺术


立体主义迁移学习


视觉艺术家Beeple作品学习
嵌入图像


Qrion专辑封面
GAN Explorations 009、010StyleGAN2

在2019年12月份,英伟达发布了StyleGAN的升级版——StyleGAN2,重点修复伪影问题,并进一步提高了生成图像的质量。下面是大佬用StyleGAN2做的第9和第10个测试项目。




Beeple的日常图像进行训练的一些早期结果


BeepleGAN的StyleGAN2实现中的一些静止图像
GAN Explorations 011StyleGAN2 +随机权重平均
在2020年1月29日,发布的第11个GAN实验中,他使用Peter Baylie的随机权重平均脚本进行探索,从两个源模型创建一个新的平均模型,依然选择的是基于WikiArt图像和Beeple的艺术作品。这基本上是在两个StyleGAN模型之间进行融合最快的方法了。















GAN Explorations 015在StyleGAN中使用图层混合为面部加Toonifying
GAN网络经历了快一年的学习后,大佬在2020年9月发布了他的第15个GAN实验 。也正是我们开头看见的那个小姐姐的效果。大佬借鉴另外两位艺术家Justin Pinkney和Doron Adler的作品并进行扩展,尝试创建卡通版人脸并使用ArtBreeder对其进行样式化。 使用FFHQ模型(英伟达高清数据集)在卡通脸部数据集上进行了微调,并将生成的模型与初始FFHQ模型混合。控制整个脸部形状(眼睛大小等)的低层图层取自卡通模型,控制更精细细节的图层取自实际的FFHQ模型。








下面是使用“一阶运动”模型和来自TikTok的视频对动画化的Uma Thurman进行动画处理的结果。视频中我们看到是将真人照片编码到原来的FFHQ模型中,再由StyleGAN生成,这样卡通动画就做出来了~

大佬一直试图寻找一个使脸变卡通化的最佳方式,因此他建立了一个新的数据集和模型来观察不同层次的训练和混合的结果。

下面的图是他用奥巴马的脸进行的测试,通过迁移学习来调整训练次数(横轴)和细节(纵轴)得到的不同效果,有点儿开了十级美颜的效果了哈哈哈哈~







除此还用一些名人的照片做了测试





GAN Explorations 016反向同化/绘画和卡通的真实版本
不光有将真人动画化,还有将动画反向真人化的测试,大佬用Elad Richardson和Yuval Alaluf的pixel2style2pixel创作绘画和卡通的真人版。



蒙娜丽莎真人化


数字人物Lil Miquela真人化


画家Diego Rivera
《飞屋环游记》罗素


《寻梦环游记》米格


画家Frida Kahlo


画家Rembrandt
GAN Explorations 017向真实人物的角色素描
来看看下面这三个演示视频




有了这一系列操作,以后课本里的历史人物照片可以换成超写实的了吧
End

原文链接:https://mp.weixin.qq.com/s/lsU_OCF2udcCql3kc1Lkww

评分

参与人数 4元素币 +59 活跃度 +27 展开 理由
元素界王神... + 18 + 7 Niubility!!!
liudongdon... + 10 + 10 千点万点,不如微元素指点。
amenjuzi + 14 + 1 为了元素币,拼了!
大海原 + 17 + 9 给你一个666

查看全部评分

内容主要涵盖影视特效,CG动国,前沿CG技术,作品欣賞
使用道具 <
Teny  发表于 2022-4-10 22:36:20  
2#
谢谢楼主分享!!!
回复 收起回复
使用道具
1621169151  发表于 2022-6-13 20:46:48  
3#
这画画着实欣赏不来。。。
回复 收起回复
使用道具
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表