stable diffusion学习笔记——文生图（一）

模型设置

基本模型

基本模型也就是常说的checkpoint（大模型），基本模型决定了生成图片的主体风格。

如上图所示，基本模型的后缀为.safetensors。需要存放在特定的文件夹下。

如果用的是启动器，可以在启动器内直接下载。

vae模型

vae模型的全名叫变分自编码器，这里先不讲解原理。在AI绘图中主要的作用是起到画面滤镜的效果。目前较多的大模型都是自带vae的，因此这里不需要额外设置，修改成NONE即可。

在启动器中也可以直接下载。如果生成画面的饱和度看起来不太正常，可以检查下是不是使用了不合适的vae模型。

终止层数

可以将stable diffusion看做一个扩散模型，终止层数就是指到倒数第几层停止。

终止层数设置的很小，提示词的体现在画面中就更多，但是运算时间会增加；反之，终止层数设置的较大，会导致处理提前停止，丢失的提示词信息会更多，运算时间会相应的减少。

通常这个值默认为2，即倒数第二层的时候停止处理，我们通常不需要修改这个值。

提示词书写

stable diffusion通过提示词来控制图像中应当出现以及不应当出现的元素。

正向提示词

正向提示词用于描述图片想要表现出的内容。正向提示词的语法如下：

(1girl):权重为1.1倍
((1girl)):权重为1.1*1.1 = 1.21倍
evening_gown:1.2:权重为1.2倍
[colorful]:权重为0.9倍

提示词权重越高，在画面中出现的概率越大。

反向提示词

反向提示词主要作用是抑制图像中的元素。提示词的语法与正向提示词相同。

图片生成

图片生成部分涉及的配置较多。

采样方法与迭代步数

采样的原理可以参考官网：Stable Diffusion Samplers: A Comprehensive Guide - Stable Diffusion Art (stable-diffusion-art.com)

简单讲，stable diffusion会随机生成一个充满噪声点的原始图像，随后一步步迭代去除噪声，最终得到一张清晰的图片。

在这个过程中，去噪的执行步数就是迭代步数；去噪的方式就是采样方法。

显然，迭代步数过低会导致画面不清晰；而迭代步数过高也会增加处理时间。通常迭代步数在20步之后画面的变化就不明显了。因此迭代步数设置为20即可。

采样方法涉及到较多的数学原理，刚上手的话可以参考如下结论：

如果你想使用快速且质量不错的东西，那么最好的选择是DPM++2M Karras，UniPC
如果你想要高质量的图像并且不关心收敛，那么不错的选择是DPM++SDE Karras
如果你喜欢稳定、可重复的图像，请避免使用任何ancestral samplers（后缀加a的采样器）。
如果你喜欢简单的东西，Euler和Heun是不错的选择

图片尺寸

设置图片尺寸受以下因素影响：

显卡的显存大小。图片的尺寸（分辨率）设置过大会导致爆显存，无法生成图片。
大模型设置时训练图片的大小。很多大模型是用分辨率不高的图片训练的，这样的模型生成图片时尽量不要把图片尺寸设置的过大；部分模型使用分辨率高的图片训练（通常发布网站上会有说明），这样的模型生成图片时要将图片尺寸设置大一些，不然会很影响出图效果。
预期的构图。如果预期得到一张人物的全身图，适当减少图片尺寸的宽高比会有较好的表现。

同样比例的图片精度不等于放大后为同样比例的图片精度。比如原本尺寸为1024*1024的图片精度不如512*512经过放大算法放大至1024*1024的图片精度，这是因为“改善总是比创造更容易的”，1024*1024会和原来一样生成瑕疵，但重绘是将这些瑕疵渐渐减少。

综上，大部分生成图片的case中，应当以小分辨率生成图片，再用高分辨率修复生成更加高清的图片。