炸裂!可提取,控制人物姿势,法线,深度信息等超强AI来了!...
74523 3
实名

通过了实名认证的内容创造者

发布于 2023-4-28 11:37:26

您需要 登录 才可以下载或查看,没有账号?注册

x
最近小伙伴们被AI画图给惊到了吧?小编看了几篇介绍文章,也大受震撼。比如,这种
368faf7b77e4d88918e087003140f886.jpg

1f90618e52bb24cb490e1c10272d408b.jpg
AI真的也太了解人类审美了,这妹子画的也太吸睛了。本来也想借此机会蹭一波热度,但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的,所以还是忍住了,没推送。
但是,昨天朋友大半夜发来一张图,让我坐不住了。


卧槽,这么说有了ControNet的加持,那些AI生成的二次元角色也好,还是上面的这种写实真人也好,都可以改变姿势,让他们动起来了!?



这也太快了吧?!那么,这个ControlNet到底是什么,又是什么工作原理咧?小编本着追本溯源的精神,一一去搜索了下。ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型,目前在GitHub上可下载,短短几天迅速成为AI绘画的又一个热点,成长速度可谓相当快。https://github.com/lllyasviel/ControlNet

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型,一种端对端的训练,目前比较火的stable diffusion都是通过这种方式来实现的。

但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画,stable diffusion只能给你画个大概,但ControlNet可能会更精细的考虑构图、线条,深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。
边缘检测


M-LSD直线检测可以更改更改M-LSD阈值,这个功能对于建筑表现简直不要太实用。



柔和的软边


使用涂鸦


深度信息控制这个深度信息对于我们CG行业制作尤为重要,有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同,ControlNet接收完整的512×512深度图,而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。



法线映射这个对于CG建模来说简直不要太疯狂。



语义分割这个功能倒不是很新鲜,之前英伟达推出的GauGAN类似。但出现在这里,着实强大了ControlNet的功能。


动画线条控件为动画线条提取增加的一个功能。目前这个功能尚未添加,正在评估潜在的风险。


可以说满足了目前我们绘制所需情况的大多数的场景需要,甚至满足了一定CG制作流程的需要。但我们今天的重点不是这些,重点是它其中还有一个对于AI生成图像重要的功能:openpose姿势识别。

它不但能生成单个角色的姿势,甚至可以生成多人的姿势,这是之前的所有文本输入型AI工具几乎无法达到的。

目前已有人通过它做了一些改变AI角色姿势的尝试。

利用stable diffusion生成角色,ControlNet改变视角
如果观察仔细的话,上面这张图里有很多的Bug,比如手关节是无法实现改变,当然了这是早期的一些测试图。根据最新消息,目前已经更新了手指关节姿势。

此外,ControlNet可以从给定的一张图像中提取姿势,然后生成一堆姿势相似的图。

更厉害的是,如果你没有现成的图像,手绘勾了出大致的造型也可以,这简直已经炸裂了。所以,做CG的小伙伴可能立马会想到,今后的工作可能就变成了,在软件里拉一个人形骨骼,然后摆一个自己想要的姿势,然后,然后,然后剩下的工作就扔给AI直接出图了呀!!!!!!!!



用姿势骨骼用AI直接生成角色姿势图文章的最后,让我们回头再看看AI生成的那些美图吧,记住,以后这些都可以直接生成骨骼改变动作,做动画了!






























全文完
6780d47cae7148a2d31a60c46fb74975.png
962ba9377b9303b941b9f166afc430a7.png

评分

参与人数 6元素币 +28 活跃度 +9 展开 理由
倾城飞霜... + 5 + 1 先定一个小目标,赚它一个亿元素币!
会飞的鱿鱼... + 8 + 1 这个要顶一下了
稻草人-001... + 2 + 2 这么6
drogscool + 4 + 2 现在都这么卷了吗?
hweiwen + 3 + 2 收藏就对了
amenjuzi + 6 + 1 支持一下

查看全部评分

本帖被以下画板推荐:

内容主要涵盖影视特效,CG动国,前沿CG技术,作品欣賞
使用道具 <
非法昵称12138  发表于 2023-8-8 10:16:23  
2#
回复 收起回复
使用道具
青山见我亦妩媚  发表于 2023-8-16 18:08:07  
3#
我们先定一个小目标~比如一天挖一吨元素币
回复 收起回复
使用道具
风来西林  发表于 2023-8-29 01:29:59  
4#
工会筹备
回复 收起回复
使用道具
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表