Checkpoint

检查点模型,因模型体积较大又被称为大模型,不同的大模型使用不同的图片训练而成,对应不同的风格,相当于最底层的引擎。

VAE

VAE 模型类似滤镜,对画面进行调色与微调,一般需要搭配相应的模型一起使用。
正常情况下,每个模型都是自带了一个 VAE 的。在一个大模型的内部,它本身是带有 VAE 权重的。选择了外挂 VAE 模型后,大模型内本身带有的 VAE 则会完全失效。

Embeddings

关键词预设模型,即关键词打包,即等于预设好一篮子关键词 a,b,c 打包,进而来指代特定的对象/风格。也可以通过下载 Textual inversion 进行使用。

LoRA

Lora 是特征模型,体积较小,是基于某个确定的角色、确定的风格或者固定的动作训练而成的模型,可使用权重控制,确定性要远强于 embedding。embedding 和 Lora 有功能交集的部分,也有互相不可取代的地方。
多个 Lora 模型混合使用可以起到叠加效果,譬如一个控制面部的 Lora 配合一个控制画风的 Lora 就可以生成具有特定画风的特定人物。因此可以使用多个专注于不同方面优化的 Lora,分别调整权重,结合出自己想要实现的效果。

LoRA 分类
人物角色形象(Character)、画风或风格(Style)、概念(Concept)、服饰(Cloth/Costume)还有特定元素(Object)呈现。

ControlNet

ControlNet 使创作者能够轻松地控制 AI 图像和视频中的对象。它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。
ControlNet 可以概括为一种简单的稳定扩散微调方法。ControlNet 的工作原理是将可训练的网络模块附加到稳定扩散模型的 U-Net (噪声预测器)的各个部分。Stable Diffusion 模型的权重是锁定的,在训练过程中它们是不变的。在训练期间仅修改附加模块。

姿态检测(OpenPose)

边缘检测(Canny)

深度检测(Depth)

边缘检测(HED)

线条检测(M-LSD)

法线贴图(Normal Map)

边缘检测(PiDiNet)

分区检测(Tile)