AI绘画+3D建模渲染流程，日本艺术家做了一个可爱的小姐姐！
概述首先，这位艺术家先做了以下工作
1.使用AI进行角色设计
使用ControlNet设计了一个原创角色
2：手动3D建模
根据上一步骤AI生成的角色，创建3D模型，此过程主要是手动。
3：用AI重绘3D渲染图像以3D模型渲染的图像为基础，主要利用ControlNet 1.1的功能重新绘制图像。重点是研究AI能否在保持3D模型创建人物特征的同时，还能改善图像的纹理和切换图像的风格。
研究目的进行这项研究的主要目的是：如何在自己制作的3D工作流程中使用AI。角色设计是AI最擅长的领域，也是这位艺术家个人认为具有挑战性的领域，他相信AI可以给工作流程带来非常大的帮助！虽然通过AI提高渲染质量还处于试验阶段，但是如果AI能够弥补3D渲染中的高成本领域，就能从根本上改变工作流程。在整体形象来看，虽然3D制作成本很高，但最终所呈现的图像却不尽人意！尤其是头发和皮肤纹理的细节处理上，非常期待其技术可以增强来达到最佳效果！1. 角色设计中的应用这位艺术家决定设计一个已经在脑海中存在了很长一段时间的角色。由于基本的大方向已经确定，很快就根据想象生成了一个形象，使想法中的角色具体化。
接下来，使用CN openpose绘制了一幅三视图。
由于很难直接在AI中指定颜色和面部特征，便在Photoshop中进行了调整。
最后，为了使人物形象更贴近此艺术家的想象，用手绘草图检查了各种元素，并将其具体化为CN涂鸦的输入。
由于第一次尝试，该艺术家目标是设计一个相对AI和3D来说都不难的作品。从最终设计来看，似乎不值得使用AI，但能够创建具体的视觉参考，并有机会在AI指令中用语言表达内心所想形象，极大地促进了3D工作。
2. 3D建模这个过程主要是手工操作，就不详细解释整个工作流程了！
考虑到后续的AI增强，该艺术家在此步骤特别追求比常规程序更加省力的皮肤和毛发制作方法~创建皮肤通常，将扫描模型包裹在ZBrush中的雕刻模型上并传输细节，这就需要增加模型的细分级别，从而增加处理负荷，并在保持细节的同时还要进行额外的编辑，可以说是相当繁琐了！
(转移了微观细节的网格。仅面部和身体就有大约1500万个顶点)
预计AI会改善皮肤纹理，这次只是在Substance Painter中设置了程序材质！
（基本的是预设的Skin Human Simple，其他层是色彩调整和化妆）作为一个独立的3D模型，制作出来所呈现的皮肤很扁平，但AI会通过其自然的皮肤表现非常有效地掩盖这方面的问题！
（添加SSS后，皮肤的凹凸感变得更加模糊）创建头发在常规流程中，使用曲线制作完成，转换为粒子头发来表现单股头发。
（Particle Hair）转换为粒子头发会增加渲染时间，并使编辑毛发引导变得困难。此外，由于Blender毛发粒子功能的限制，需要一些办法来表现出自然的头发。这一次，该艺术家将头发保留为曲线块，希望AI可以给力些，生成自然的发流。由于在曲线状态下头发很容易扭曲或散开，所以在这种状态下进行工作在摆姿势等任务中也有很大优势。
（ Curve模式下的头发）AI辅助重绘增强纹理和细节设置重绘使用i2i中的CN tile和lineart组合lineart_realistic用作lineart的预处理器，使用了Alstroemeria Mix。（https://civitai.com/models/38606/alstroemeria-mix）模型和High-poly LoRA（https://civitai.com/models/8730/hipoly-3d-model-lora）
（输入图像）
（i2i Settings)评价
最终的结果就是，在保持输入图像真实性的同时，头发和皮肤得到了预期的改善，整体照明和细节结构也有所改善！
（输出图像）在头发方面，通过AI消除了输入图像的块状感，创造出了自然头发流线，发际线的处理也很恰当，但是大家懂的，如果使用3D技术，处理发际线真的太费力了。
在皮肤方面，输入图像中故意省略的纹理和光泽通过AI处理体现出来了，嘴唇的表现也很自然。
从整体来看效果，灯光对比度得到了改善，并添加了发光效果，在图像中加入原本输入图像中没有的景深效果，也为整个模型的效果增添了一份光彩！总的来说，输出的图像带来了一些变化，但令人惊喜滴是，服装徽标的字体形状几乎完全保留了下来！在早期制作的时候，该艺术家就已经想到了如果文字变形的话，就在后期处理时用Photoshop添加，而不是将其写在纹理中！因此他很开心能够避免这一步骤~
问题但是经过AI的重绘也是出现了一些小问题，像颜色就发生了细微的变化，如：本想把头发染成草莓金色，但重新绘制后却变成了金色。当将CN平铺与ControlNet一起应用时，这种颜色偏移似乎就出现了，这是更重要的设置，期待未来有所改进！其他相关项目至于提示，如果设置了ControlNet更重要，基本上大多数情况下都不需要指定，相反，很难生成输入图像中不存在的提示，在这种情况下，似乎会同时使用普通的修补等。采样器的选择至关重要，DPM++ SDE Karras往往会显著改变原始图像，强调模型的风格，并更有可能对纹理进行大幅修改。但是，如果不希望这样，选择DPM++ 2M Karras或DDIM将有助于保持输入图像的纹理不变！
如果不使用线稿，输入图像的保真度可能会略有下降，细节方面可能会有一些失真。但是却给AI提供了更多的绘制自由，在某些情况下会带来更丰富的细节！
总结这项测试下来，整体感受是，虽然还存在一些问题和需要进一步需要修改的地方，但总体效果符合预期！效果不错~看图！
风格变化还可以切换模特和LoRA来改变作品的风格，虽然面部特征可能会略有变化，但可以使用Photoshop进行调整。
（各种模型的输出示例）如果降低Linear的 "结束控制步长"（如 0.4）往往会对细节造成更多干扰，但似乎在面部结构中能更好的反映模型的风格。
不过，在输入图像和风格变化之间需要权衡，在保持原始图像不变的情况下，改变风格的程度是有限的。例如，如果想改成动漫风格，那就需要接受面部的一些变化。要知道，鱼和熊掌不可兼得呦~
（在应用动漫阴影时改变面部特征）
由此便有了未来研究的项目之一：在不使用CN的情况下创建角色LoRA并生成的动画，在风格变化和角色特征之间如何取得平衡！
方法怎么不起作用平铺扩散+CN贴图
尝试了一种结合Tiled Diffusion和CNtile来提高分辨率的方法同时生成细节：通过增加Noise Inversion和Denoise Strength！
（Tiled Diffusion 设置）结果，图像中的细小噪点，图案被再现为图案的一部分，导致质量较差。
（输出图像）将背景中的细微条带或表现连帽衫纹理的细微明暗点再生为条纹图案是不可取的！虽然可以通过调整参数或输入图像来提高质量，但与CN贴图 + 线描法相比，这种方法需要更多的精力和计算时间！CN参考
在使用CN reference_adain+attn时，可以看到隐约再现元素的努力，但它并没有达到再现角色的程度。
（参考_adain+attn）即使与线稿结合使用，结构也会受到很大破坏，不适合这次想要达到的效果。
（参考_adain + attn + 艺术线条）MasaCtrl
使用MasaCtrl WebUI扩展程序，尝试用CN tile + lineart记录一次角色输出，然后在再生过程中使用提示以不同的构图或姿势进行再生。然而，在尝试使用RECON重新生成时出现了错误，从而无法验证结果。目前的WebUI实现中似乎存在一个错误，即超过特定的分辨率就会出错。用正常的t2i进行尝试时，它比CN参考更能保持一致性，是一项非常有趣的技术！
（使用t2i进行测试，只能在提示时举起一只手，同时基本上保持设计）使用动漫风格模型重画该艺术家研究了可以用更简单的模型来复制类似的方法，该模型可以使用VROID预设轻松创建并使用Blender进行渲染。
（输入）使用CNtile和Lineart_anime重新绘制
（输出）呜呼~很不错！
可以看出由于物体的边界受到瓷砖和线稿的限制，因此仍然存在一些类似3D的突兀感，但纹理和面部特征的描绘相当理想~手部和手指几乎没有破损。
改变模型可以实现风格转换
引入了一种将重绘图像重新投影为3D模型纹理的方法，从这个质量来看，这确实是一个很有前途的方法呀！（虽然它可能不能直接应用于基于物理的现实材料的创建）
摘要AI具有增强3D渲染的潜力，这为未来的工作流程提供了重要且宝贵的启示。如果能完成60-70%的模型准备工作，然后把剩下的交给AI，目前看来看是可行的。
如果将来与AI合作，那么考虑哪些部分应该制作成3D模型，哪些部分可以留给AI，以及在3D方面应该保留哪些规格和约束条件，来为AI输入提供合适的信息，将是一件非常有趣的事情~
今天的干货内容讲到这里就结束了，看得出来该艺术家非常细心且耐心！也很有想法！在AI霸道横行的今天，为自己也为我们提供了宝贵的相处之道与小技巧！感兴趣的快收藏起来，偶尔拿出来学习学习！可不许只放在收藏夹里哦~哼！
- End -
页:
[1]