Controlnet控制图片生成中文字效，SD放大分辨率及修复细节的几种方法

9月 3, 2023 发表于: AI绘画教程. 评论

前言

本文将使用一个Stable diffusion制作文字特效的案例教程，为您详细讲解操作流程和相应的功能介绍。以及如何利用 StableDiffusion 和 ControlNet 插件来精确控制图像生成，以及如何将 LoRa 模型融入到创作中。也就是说你在本可以学会Stable diffusion文字特效的制作过程和SD放大图片并修复图片细节的方法！

在开始之前，我们需要准备好模型、LoRa 以及相关素材。

一、Controlnet控制图片生成中文字效

本篇文章我将会采用一个【文字特效的案例教程】给大家详细讲解操作流程以及相应的功能介绍，通过这个案例，带大家走入StableDiffusion的进阶玩法，话不多说，先看看案例图片：

01、前期准备

在开始之前，我们需要先准备下模型、lora以及相关素材：

1、Stable Diffusion 模型：ReV Animated v1.2.2 （最新版本）

2、Lora模型：light effect sci-fi scene

3、controlnet插件模型以及黑白文字图片

模型下载推荐使用civitai（国外）以及哩布哩布AI（国内），前者需要特殊网络，下载也比较慢，但是模型丰富，数量极其的多。后者下载速度很快，我一般是在【civitai】上找到模型然后去【哩布哩布AI】上搜，如果有需要的模型，那就直接在【哩布哩布AI】上下载。

Controlnet插件一般用活菩萨秋叶的启动包就会自带，不过模型需要自己安装一下，在往期文章我有专门介绍过Controlnet的插件安装教程以及模型的下载方式，此处不多做说明。

图中为【智设AIGC社区】，整理了AI绘画的教程及其相关资源，本文所用到的模型素材都提供在里面。

准备一张黑字白底的图片即可，此处的文字大家可自行修改，图片尺寸可以根据自己的需要调整合适即可（此处我给的尺寸为512*288，也是1920*1080的缩小尺寸）。

02、关键词描述

本次案例关键词为：

正向关键词：

(masterpiece, best quality:1.3),hd,8k,super details,science fiction,scenery,round stage,<lora:sci-fi-v1.2:0.9>,
(杰作，最佳画质:1.3)，高清，8k，超细节，科幻，风景，圆舞台+ <lora>

反向关键词（通用关键词，哪哪都可用）：

(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

告诉大家这个关键词哪来的呢，就是从Lora模型的网站上Copy下来的，一个小技巧，如果我们不知道怎么描述关键词，可以把相关的Lora、模型图片信息上的关键词拿来二次改动即可：

03、文生图基本设置

把以下标注的参数调整下，大家可以按照自己的想法调整，如果暂时还不会，就按照我的参数调整就好了。

这里说明下，lora可以通过【生成】按钮下方的红色icon调用，点击此lora会给我们在正向关键词的后方添加该Lora参数。

如果你是自己写关键词，需要添加该Lora的触发词，触发词一般在模型下载网站作者会写出来，大家把触发词加上去即可。Lora的权重也可以调整，默认参数是1，作者生成的lora图片权重给的是0.8~0.9，这大概率是作者测试的最佳参数值，大家也可以测试下别的参数值，具体看效果，本次案例Lora权重为0.9，即 <lora:sci-fi-v1.2:0.9>

还需强调一个参数：采样方法 (Sampler)

采样方法有很多，一个个介绍的话内容就很多了，大家一般使用这两个参数即可：DPM++2M Karras 和 DPM++SDE Karras。一般模型下载页面会有作者推荐的采样方法，都是经过作者测试过的，所以我们跟着用就好了，当然也可以试试其他的采样方式，据说效果也差不多。

04、Controlnet参数介绍及设置

接着在下面找到Controlnet插件，上传我们准备好的黑字白底图片，并把下面的参数设置好。

Controlnet Unit需要多设置一个，我们将会使用两个Controlnet预处理对图片进行控制。

我们在第一个Controlnet Unit上选择Canny，对应的模型也是canny。他还有一个同胞预处理器“invert”，如果你是黑底白字，那么就选择“invert”。这个模型作用是控制主体的边缘进而控制最终生成图片的效果。

第二个Controlnet Unit选择Depth，对应模型为Depth。这个模型的作用是检测图片的空间层次，进而控制生成图片的空间感，这个模型适用于一些大型的空间场景。本次案例借助这个模型增强下空间感。

Depth预处理也有好几个，其中【Depth_leres++】适合处理大场景大空间的图片（检测的细节很多），所以这个预处理器的处理时间会很长。如果没有很大要求的话，使用其他的预处理器即可，处理的结果有细微的差距，大家可自行尝试下。本次我使用的是【Depth_midas】预处理器。

需要注意一点是，我们要控制下权重，在第一个unit我们默认是1，以canny模型为主，Depth辅助增强空间感，那么就需要把改权重降低一点，比如0.6~0.8。

敲黑板！！

上面我没有说写尺寸的事情吧，告诉大家一个小技巧，点击这个按钮，就可以把上传的黑字白底图的尺寸自动设置上去，这也是为什么在制作黑底白字图的时候需要把尺寸控制好。

05、终于开始跑图了

上面讲了一大堆，其实也只是冰山一角，只把本次案例需要调整参数的地方讲了一下，不过这些也是一般生图的常用功能，这几个参数玩好也够用了，其他参数等我后续以案例教程的形式说明，我认为这样大家容易记一些。

废话不多说了，把各项参数设置好了之后就可以开始跑图了，如果你们出现错误，先检查下参数问题，看是不是跟我一致的。

先批量跑几批图出来吧，大致效果就是这样了：

到这一步如果你觉得结束了的话，那就错了，还剩下几个问题呢。

1、图片分辨率太小，不能用；

2、图片细节太糙，也不能用。

这时候就引出我们下一个板块了，图片放大/细节增强功能，往下看：

二、SD放大分辨率及修复细节的几种方法

下面几种方法还是根据我们上面生成的图片来演示，请在开始之前选中一张你所满意的图片即可。

01、高分辨率修复

高清修复在文生图，也就是在关键词下方，它的原理就是把图片重新画一遍，然后增加图片细节及放大分辨率。

我们先选中一张图片，固定seed值，然后点击启动“高分辨率修复”（可能其它版本是“高清修复”），就可以看到下面的一些参数。

为什么我们在生图的时候没有直接勾选这个呢，还要进行固定seed值的这一步参数，是因为这个功能还是会受到显卡限制的影响，如果批量跑图开启“高分辨率修复”，那生成图片时间会非常久，先用低分辨率尺寸出图效率会更高点，4090用户请忽略。

再来看看它的相关参数：

具体看图，不要晕了！

放大算法一般就使用，【R-ESRGAN 4X+ Anime6b】和【R-ESRGAN 4X+ 】，插画风格图片使用【R-ESRGAN 4X+ Anime6b】请无脑使用这两个！

重绘幅度保持在0.5~0.8即可，数值越大，图片改动越大，反之一个道理。

放大倍数取决你需要把图片分辨率放大多少，这个也不能随心所欲，需要看你的显存大小！

迭代步数与上面的一样，一般不需要调整（0为默认与上面一致）。

最终的参数是这样的，抄作业了：

可以适当的调整重绘幅度，说不定会有意外惊喜哦。

02、图生图放大

除了高清修复，图生图也是SD自带的一个不错的放大方式，原理跟高清修复一样，我们快速整一遍。

还是那张图，把图片发送到“图生图”，之前那张低分辨率图片怎么找到呢，可以在文件夹中找到，然后上传到“png图片信息处”，点击“发送到图生图”。

图生图的参数基本与前面文生图一致，都是重复的功能。

然后点击生成，这张图片就被放大了，与高清修复一样，依赖于显存大小。

用4倍放大值，【3080 10G显卡】生成时间为27s，占用显存10g，直接拉满了。

图生图也有“放大算法”功能，只不过需要在设置里面找到，设置之后就是默认的算法了。

03、SD upscale脚本放大

这个功能也是在图生图中，与前面两种方法不一样的是，这个放大原理是把一张图分成多个小块一个个生成，相当于就是生成一小块后再生成下一个小块，直到把整张图生成完毕，所以这个方法对显存小的玩家是一个好的选择，没有集中一张图生成。

在图生图底部找到这个“脚本”选项，选中“使用SD放大（SD upscale）”，在底部可以看到他的参数信息，放大倍数和放大算法与前面一样。

这个“分块重叠像素宽度”需要注意下，具体原理不做解释了，大家只要记住，这里如果是64，那么我们就把上面的高度和宽度分别加64就行了，不然可能会出现图像分割的情况（本次案例测试没出现这个问题，如果有，请记住这个方法！）

最后这张图是在4倍放大值生成的，分辨率也达到了2048*1152。

【3080 10G显卡】生成时间为23s，占用显存4g左右。（前面两种占用显存都达到了10G，拉满了）

04、后期处理功能放大

后期处理这个软件在其他版本叫做“附加功能”（这两个名字的功能是同一个），“后期处理”方法原理就是把原图等比放大并处理一些细节（不重绘），效果没有上面几种方法好，但是也能满足大部分场景需要，处理时间非常快。

进入“后期处理”这个板块，上传小分辨率图片，我们只需要设置好缩放倍数/缩放尺寸和放大算法即可，其他的参数默认不用管，点击生成就可以为我们生成一张大分辨率的图片，这个图片是100%还原的（没有经过SD重绘）。

这个功能也可以放大非SD绘制的图片，比如我上传一张通过Midjourney生成的图片，该图片尺寸为1456*816。拖入“后期处理”中，把放大倍数调整到4倍，点击生成就会把这张图片分辨率放大了。

可以看到放大之后图片确实清晰很多，大家自己尝试后感受会更加明显。

05、进阶放大功能-Tiled Diffusion

目前StableDiffusion最强的图片放大功能-Tiled Diffusion，这是StableDiffusion一个插件，它所实现的放大修复功能比前面4种方法更好，强烈推荐大家使用这个方法！！！

原理与SD upscale类似，我们直接来看看演示案例吧，原理什么的大家看的可能会头晕…

首先就是这个插件的安装了，如果你是安装最新版本的一键启动包（最新版本收录到我们的知识库了，需要call我），那么这个插件已经为你安装好了。如果你的sd中没有，那请你手动安装下:

回到图生图功能，按照之前的方法，把那张低分辨率的图片发送到这里来，在下方底部就可以找到Tiled Diffusion和Tiled VAE，这两个插件是共用的，放大图片的时候两者都勾选即可。

这个插件也比较简单，通常情况我们只需要勾选启用就好了，注意控制下放大尺寸即可。在放大尺寸这块大家可能会混乱，图生图有一个尺寸，Tiled Diffusion也有一个放大倍数，到底是怎么回事呢？这里有两种方法：

1、使用图生图的尺寸

我们可以把图生图的原始尺寸*3，也就是放大3倍（原：512*288，放大：1536*864），取消勾选“保持输入图像大小”，并把放大倍数改为 1 即可。

2、使用Tiled Diffusion放大倍数

图生图的尺寸保持不变，勾选“保持输入图像大小”，放大倍数调整为 3 ，（勾选“保持输入图像大小”即图生图尺寸不生效）

上面两种方法都可以，大家自行选择~

这个插件的其他参数我们都不需要去具体了解，保持默认就行了，注意控制以下几个参数即可（希望你不要晕）：

最后一步，控制下重绘幅度，因为我们是为了放大图片分辨率，所以我们的重绘幅度一定不要调的太高。大概0.3~0.5这个样子，没有具体参数，需要大家自行尝试。

我们点击生成可以看下这几个重绘幅度之间的差别：

经过测试，重绘幅度保持在0.3~0.5即可，0.5以上图片就被重绘的过于多了。

0.3-0.5细节改变不大，保留了原图的细节，0.5的参数会额外再增加部分细节。

06、高阶修复放大功能 — Controlnet Tile模型

敲黑板！！重点来了！重点来了！重点来了！

上一步我们介绍了Tiled Diffusion插件的玩法，这次来个更强的Tile模型，它是基于Controlnet插件开发的模型，可以把低分辨率图片变为高分辨图片，并且，还可以通过控制参数增强画面细节！

它的具体使用方法是结合Tiled Diffusion使用，两者相互结合带入出图流中，效果异常的好，到底有多震撼，看下去你就知道了。

回到“文生图”，你没看错，上面基本上都是用到的“图生图”，这次我们使用Controlnet插件需要到这里来。

然后请把目光回到Controlnet生成低分辨率图那里，还是这张图，保持各项参数不变，看图：

请把Tiled Diffusion和Tiled VAE勾选启用，这一步不要忘了，我们是需要结合这个插件使用。

然后我们控制图片放大尺寸是需要在这里进行，勾选“覆盖图像尺寸”并设置放大图片尺寸，即【512*288】放大3倍为【1536*864】，（文生图上面的尺寸就不需要管了，字面意思）

再到Controlnet插件这里来，上传之前的低分率图片，选中“Tile（分块）”即可，其他参数该勾选的勾选。最终的图片效果由“控制权重”来调整。

上述的操作完成后，点击生成图片即可，最终图片生成的效果看设置的权重参数，看图可得出：

1、低于0.6以下的图片效果，文字产生了较大的形变，甚至是低于0.4之后完全没有主体存在；

2、高于1.1以上的图片效果，文字几乎看不出变化了；

3、所以本次案例测试结果为权重控制在0.6~1.1左右是比较合适的。

最后再来看下完整大图！！！

四、完结撒花🌸🌸🌸

到这里本次案例教学就结束啦，不知道大家懵逼了没有，可以在评论区告诉我。

本篇文章用时12个小时，通过一个文字特效案例介绍了StableDiffusion最强大也是最实用的两个功能：Controlnet以及放大/修复图片细节的方法，大家一定要好好掌握这两个功能，在接下来的商业化案例教程中，我可能会重复使用本文介绍的功能，大家别到时候说看不懂哈。

作者：言川Artie_且曼 | 来源：站酷

赞助商链接