我们如何找到别人训练好的模型？
模型仓库
以下是常见的模型下载仓库，点击可直接前往：
- HuggingFace：Stable Diffusion、ControlNet的官方仓库。
- Civitai：里面多是Lora或其它NSFW等模型的仓库。
在HuggingFace仓库中下载所需的模型时，将会看到各种各样格式的文件。对于一般的使用者来说，仅下载Stable Diffusion的常用CKPT格式模型文件即可。
模型种类
大模型
大模型特指标准的latent-diffusion模型。拥有完整的TextEncoder、U-Net、VAE。
由于想要训练一个大模型非常困难，需要极高的显卡算力，所以更多的人选择去训练小型模型。
CKPT
CKPT格式的全称为CheckPoint（检查点），完整模型的常见格式，模型体积较大，一般单个模型的大小在7GB左右。
文件位置：该模型一般放置在*\stable-diffusion-webui\models\Stable-diffusion目录内。
小模型
小模型一般都是截取大模型的某一特定部分，虽然不如大模型能力那样完整，但是小而精，因为训练的方向各为明确，所以在生成特定内容的情况下，效果更佳。
常见微调模型：Textual inversion (Embedding)、Hypernetwork、VAE、LoRA等。
VAE
全称：VAE全称Variational autoencoder。变分自编码器，负责将潜空间的数据转换为正常图像。
后缀格式：后缀一般为.pt格式。
功能描述：类似于滤镜一样的东西，他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面自带 VAE ，但是并不是所有大模型都适合使用VAE，VAE最好搭配指定的模型，避免出现反效果，降低生成质量。
使用方法：设置 -> Stable-Diffusion -> 模型的 VAE (SD VAE)，在该选项框内选择VAE模型。
文件位置：该模型一般放置在*\stable-diffusion-webui\models\VAE目录内。
Embedding
常见格式为pt、png、webp格式，文件体积一般只有几KB。
风格模型，即只针对一个风格或一个主题，并将其作为一个模块在生成画作时使用对应TAG在Prompt进行调用。
使用方法：例如训练了一个Embedding模型，然后将该模型命名为zhuangshi，在使用AI绘图时加载名称为zhuangshi的Embedding模型，在使用Promat时加入zhuangshi的Tag关键字，SD将会自动调用该模型参与AI创作。
文件位置：该模型一般放置在*\stable-diffusion-webui\embeddings目录内。
Hypernetwork
一般为.pt后缀格式，大小一般在几十兆左右。这种模型的可自定义的参数非常之多。
使用方法：使用方法：在SD的文生图或图生图界面内的生成按钮下，可以看到一个红色的图标，该图标名为Show extra networks（显示额外网络），点击该红色图标将会在本页弹出一个面板，在该面板中可以看到Hypernetwork选项卡。
文件位置：该模型一般放置在*\stable-diffusion-webui\models\hypernetworks目录内。
LoRA
LoRA的模型分两种，一种是基础模型，一种是变体。
目前最新版本的Stable-diffusion-WebUI原生支持Lora模型库，非常方便使用。
使用方法：在SD的文生图或图生图界面内的生成按钮下，可以看到一个红色的图标，该图标名为Show extra networks（显示额外网络），点击该红色图标将会在本页弹出一个面板，在该面板中可以看到Lora选项卡，在该选项卡中可以自由选择Lora模型，点击想要使用的模型将会自动在Prompt文本框中插入该Lora模型的Tag名称。
基础模型
名称一般为chilloutmix*，后缀可能为safetensors或CKPT。
基础模型存放位置：*\stable-diffusion-webui\models\Stable-diffusion目录内。
变体模型
变体模型存放位置：*\stable-diffusion-webui\models\Lora目录内。
模型后缀
仓库内一般存在多个模型文件，文件名后缀各不相同，这里简单介绍下文件名常见后缀及其含义：
ControlNet
ControlNet比之前的img2img要更加的精准和有效，可以直接提取画面的构图，人物的姿势和画
面的深度信息等等。有了它的帮助，就不用频繁的用提示词来碰运气创作了。
instruct-pix2pix
在 stable-diffusion-webui 中的img2img专用模型 自然语言指导图像编辑 生成速度极快 ，仅需要几秒的时间。
FP16、FP32
代表着精度不同，精度越高所需显存越大，效果也会有所提升。
512｜768
代表着默认训练分辨率时512X512还是768X768，理论上默认分辨率高生成效果也会相应更好。
inpaint
代表着是专门为imgtoimg中的inpaint功能训练的模型，在做inpaint时效果会相对来说较好。
depth
代表此模型是能包含处理图片深度信息并进行inpainting和img2img的
EMA
模型文件名中带EMA一般意味着这是个用来继续训练的模型,文件大小相对较大
与之相比,正常的、大小相当较小的那个模型文件是为了做推理生成的。
小模型实际上有EMA权重。而大模型是一个 “完整版”，既有EMA权重，也有标准权重。因此，如果你想训练这个模型，你应该加载完整的模型，并使用use_ema=False。
EMA权重
例如考试的成绩：如果你只考虑去年的分数(即只用一组最近的实际数据值来预测)，你会得到MA（moving average 移动平均数). 而如果你保留整个历史，但给最近的分数以更大的权重，则会得到EMA(exponential moving average 指数移动平均数)。
这对具有不稳定训练动态的GANs来说是一个非常重要的技巧，但对扩散模型来说，它其实并不是那么重要。
VAE
VAE模型文件并不能和正常模型文件一样独立完成图片生成。
评论 (0)