💥
基于ComfyUI寻找相对可控的二次元插画工作流
type
status
date
slug
summary
tags
category
icon
password
comment
类型
主题
状态
简介
项目目标
目前的AI绘画依然处于一种相对不可控的状态，导致一些内容要求具体或者故事性较强的作品难以仅靠AI和没有绘画功底的人完成，一个优秀的插画作品或多或少都需要创作者拥有基本的审美能力和构成能力等，本项目也预设插画的创作者是一个对于特定绘画媒介/质料掌握不熟练但有一定绘画功底和审美的创作者，从而方便这些作者摆脱枯燥繁重的细化阶段，将精力集中在创意上。
那么问题就是，如何能够将创作者对作品有明确要求的元素体现在AI作品中，这种对于某些方面可控性要求的满足才是AI创作插画成熟的标志，好在，基于Stable Diffusion的ComfyUI对于工作流的采用让这种可控性成为可能，但目前网络上还没有找到非常实用的插画工作流，于是本项目旨在对探索出一个相对可控且较为灵活的插画工作流。
对于此工作流的期望是，能从构图/色彩构成/平面构成/人物角色特征/等方面对插画作品进行控制。一个直观的例子是，创作者可以手绘一张草图/示意图，然后再交给AI来工作，那么从哪些方面理解这些草图，如何对草图进行合理修正等，也都是这个工作流需要考虑的问题。
目前的初步探索
笔者在观看了番剧《葬送的芙丽莲》和《迷宫饭》之后，感到非常喜欢这两部作品中的精灵法师角色（芙丽莲和玛露希尔），产生了将她们放到同一张画中的想法，于是画了这样一张草图：
很明显这是一张芙丽莲在追杀玛露希尔的场景，限于笔者的绘画能力，这张草图如果没有AI的辅助，就只能停留在草图的阶段了。值得指出的是，这张草图在创作的时候是没有考虑到接下来需要AI的辅助的，如果考虑到了这个问题，该草图其实还有许多在笔者能力之内且可以改进的地方，比如：
- 对一些区域进行平涂上色以指明颜色
- 将凌乱的线稿进行重新描一遍以增加清晰性，减少凌乱的线条
- 除了主要人物，应当指明该插画的背景
等等可改进的位置，但无论如何，这张图也算具备了一些必要的基本信息，比如：
- 人物的位置关系
- 人物的神态与动作
- 人物的衣着
那么我期望AI能够从这个草图中合理地提取出这些信息，在图像的生成过程中可以对这些信息进行完整保留。
经过初步折腾，我得到了这样的效果：
毫无疑问非常不理想，但有很多的优化思路，故而下一步的工作就是做进一步的探索，以期至少能根据这个草图生成一些令人满意的结果。
需要特别提到的是，虽然可以想象到Midjourney或许会更容易制作效果更好的图像，但毕竟可控性有限，且并非免费，所以还是放弃了这个方案。
mj生成效果在缺少各种其他工具辅助的情况下生成的图像可以说与草图完全无关：
步骤拆解
考虑到绘画过程的复杂性，将草稿一步完成到成品图是不现实的，同时由于跨度太大，对于一些方面的控制不能很好完成，所以考虑将作品的创作分为几个阶段，首先需要将草图转化为线稿。
生成线稿
对之前的草稿进行简单清线，让线条更明确一些，由于图片中有两个人物，一个比较合理的方法是对两个人物的线稿分别进行处理，这样将两个人物的草稿分别取出：
应用ComfyUI生成精细线稿，整个工作流如图，在附件中包含：
工作流的重点为：
- 运用线稿lora
- 运用tile controlnet控制构图
- 不使用边缘线相关contronet
- 图生图，适当提高重绘幅度
上色
先使用绘画工具进行简要上色：
应用ComfyUI进行上色，整个工作流如图，在附件中包含：
工作流的重点为：
- 使用相关画风lora
- 运用tile controlnet控制构图
- 使用边缘线相关contronet
- 图生图，适当提高重绘幅度
之后将两张图片拼合在一起，并寻找合适的背景图片：
超分辨率扩张形成大图
利用tile模型分块对原始图像进行超分辨率重建，并增添必要的细节，同时将背景与前景人物做出合理融合。
工作流的重点为：
- 使用相关画风lora
- 运用tile controlnet控制构图
- 使用Tiled Diffusion进行分区超分辨率重建
- 图生图，适当提高重绘幅度
最后由于decoder的原因色彩会不平衡，手动调整一下颜色：
完成。
总结
目前想要完整地对插画的各个方面进行精确控制仍然不现实，一个优秀的绘画作品，其每一个部分都是细致思考的结果，使用AI既然会提高效率，也就意味着有一些因素必然交给AI自由发挥，那么在没有显式的明确控制的方面目前往往会不可避免地出现“AI感”。
总的来说，在有一个基本构图创意的情况下，手绘简单草稿后，可以采用本文所应用的ComfyUI工作流，通过线稿→上色→放大的流程，可以对画面的最终效果有一个初步的认识，而其是否能够作为成品使用，则要看使用场合对插画的要求。
Loading...