stable diffusion实践操作-大模型介绍

news/2024/7/10 18:49:07 标签: stable diffusion

本文专门开一节写大模型相关的内容,在看之前,可以同步关注:
stable diffusion实践操作

模型下载网站
国内的是:https://www.liblibai.com
国外的是:https://civitai.com(科学上网)

一、发展历史

1 官方大模型

大模型从无到有训练大模型花费时间非常久,花费非常高,上百万美元:

2 CHECKPOINT

在官方大模型的基础上再次训练,就是我们看到的CHECKPOINT模型,但是对于硬件的要求还是很高,使用起来不是很灵活

3 EMBEDDING

后来发展出来了embedding模型,文件小,训练成本低,但是效果差强人意,好处是灵活

4 Lora 和Hypernetworks

二 什么是大模型

我们可以理解为各种绘画风格的打包集合,不像midjourney那样,想要什么风格,就在关键词中写上就可以了,比如,国风水墨,迪士尼等。如下:

Stable Diffusion就需要大模型来规定风格,比如国风模型,迪士尼模型等,具体参考checkpoint,选定这个模型后,那么你所有的关键词都是根据这个模型来确定的,也就是说,不同模型,关键词不一样,这也是SD比较难学的原因。

三 使用注意事项

通过二我们知道,每个大模型的关键词都不一样,所以下载大模型的时候要详细看作者说明,以及作者的关键词,通过关键词来学习,这样才能使用好这个大模型。

正文


序号模型名称简介
1Stable Diffusion 常用官方模型V1.5版本官方
2Stable Diffusion XL1.0官方
3Anything 系列二次元
4Realistic Vision V2.0写实模型
5DreamShaper人物肖像
6MeinaMix动漫
7ChilloutMix现实
8majicMix系列

1、官方大模型

底模/大模型 是SD能够绘图的基础模型。安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。常见的模式,后缀ckpt,safetensors,大小在2-8G之间。
【1】Stable Diffusion 常用官方模型V1.5版本,v1-5-pruned.ckpt。
下载链接:https://openai.wiki/stable-diffusion-model-v1-5.html
【2】目前升级到新版本【Stable Diffusion XL1.0 正式版】
下载链接:https://www.liblibai.com/modelinfo/77a9ca05a2c7c93ceb05f4dceae9ed97
【3】Anything系列型号,偏向二次元
anything-v5-PrtRE.safetensors模型可以用于生成多种类型的图像,包括肖像、风景、动物、卡通、科幻等。它具有较强的适应性和泛用性,效果表现出较强的真实感和细节还原能力。
在这里插入图片描述

详细介绍链接:https://zhuanlan.zhihu.com/p/640797704

2、写实大模型Realistic Vision V2.0,

链接: https://pan.baidu.com/s/1wat_55oIRa-fSSleqpE1kw 提取码: 5u8w
在这里插入图片描述

3、DreamShaper

这个模型在肖像提示上表现得特别好,创造了一件令人惊叹的艺术品,捕捉到了主题的感觉和风格元素。在风景方面,DreamShaper能够创造出一个有趣而复杂的图像,具有鲜艳的色彩和迷人的细节。插图展示了充满活力的色彩和各种形状,使图像栩栩如生。
链接: https://pan.baidu.com/s/1zZeTk3J4odbWqjwJle_1Bg 提取码: ba47
这个模型推荐给任何想用自己的人工智能模型创作插图的人。此外,您可以使用各种设置来确保结果看起来更像数字艺术作品。我们建议尝试不同的步数,并使用此模型提示工程技术以获得最佳结果。

4、MeinaMix

MeinaMix是最受欢迎的型号之一,这是有充分理由的。这个模型能够生成具有独特绘画般质量的精彩插图。与Anything模型非常相似,MeinaMix在人物方面专注于动漫风格,但它也能够生成复杂的插图。
链接: https://pan.baidu.com/s/1ECn3AAU6CBj_6rOriFn7ig 提取码: u24m
在这里插入图片描述

5、checkpoint模型下载,在C站,或者liblib上面,标签是checkpoint的就是。

在这里插入图片描述

6、ChilloutMix-KoreanDollLikeness

提到SD模型,Chillout是必不可少的。即使因为停止了后续更新,市场上已经涌现出了很多能够替代Chillout的模型,但Chillout依旧是一座丰碑:第一个爆火的真人模型。
Chillout在真人出图是统治级别的占有率 。是非常好的模型,但或许因为成熟的太早,也很快就停更了。最新版本是2023年2月的版本。

模型分为32和16两个精度,其中16精度可以大幅节省显存,但是因为玄学原因,我还是在用32精度的。
介绍以及下载链接:https://zhuanlan.zhihu.com/p/632997666
在这里插入图片描述

7 、majicMix系列

majic也是堪称封神的模型。作者是国人大佬麦橘。

明暗光影控制都非常到位,这种能够控制暗影部分效果的能力,是之前SD相比于MJ所相对较弱的部分,但是有了majic,就给补上了。尤其是女性的眼睛和神态,像戴了美瞳一样。甚至人物身上的小雀斑小痣都能够出现。尤其惊为天人的,是对男性的表现力。从肌肉到血管,都非常的真实。

有一个趣闻,就是AI博主娜乌斯嘉,娜娜酱,炼了自己的lora融进sombra后,作者直接在最新的V5版本里把娜娜酱融进了正式版,属于是真正的赛博永生了。

模型推荐用Euler作为采样器。

以及作者强调了N次的……不要开面部修复!
majic系列分了好几个,分别是:
在这里插入图片描述
在这里插入图片描述

7.1 majicMIX realistic:主打真实系,是通用版本。

下载介绍链接:https://www.liblibai.com/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540

在这里插入图片描述

7.2 majicMIX fantasy:风格非常炸裂美好,但是远距离脸部需要inpaint以达成最好效果。

下载链接:https://www.liblibai.com/modelinfo/ab2e95bb3f3e746456d8955216865963
在这里插入图片描述

7.3 majicMIX lux:融合了,realistic和fantasy,是适合抽卡博梦想的模型。

7.4majicMIX horror:偏恐怖主题。

参考示例:
https://zhuanlan.zhihu.com/p/641024570

结尾


常用到的基础模型和插件(持续更新中)
链接:https://pan.baidu.com/s/1c9utQmWlGcRqLTr_kftTyA?pwd=1111
提取码:1111


http://www.niftyadmin.cn/n/4994148.html

相关文章

服务器监控可视化

IT监控可视化是一种将IT监控数据以图形化的方式呈现给用户的技术,可以帮助用户更直观、更易懂地了解IT系统的运行状况。服务器监控可视化是其中的一个重要应用场景,可以将服务器的各种性能指标以图表、仪表盘等形式展示,以便管理员更好地了解…

笔记:linux中LED驱动设备树配置和用法

设备树中节点配置 设备树中的LED驱动一般是这样写&#xff0c;LED驱动可以控制GPIO的电平变化&#xff0c;生成文件节点很方便 leds: leds {compatible "gpio-leds";gpio_demo: gpio_demo {label "gpio_demo";gpios <&gpio0 RK_PC0 GPIO_ACTIV…

【C/C++】x -x 的含义

1、含义 -x 的值&#xff0c;其实就是在x的值的基础上进行按位取反&#xff08;~x&#xff09;之后在增加1所得&#xff08;C语言中&#xff0c;-x实现是用取反1实现&#xff09;也就是说&#xff1a;x & -x x & (~x 1) 2、x 为偶数 当一个奇数 1时&#xff0c;表示…

WEBGL(4):动态绘制点并根据详细自定义颜色

1 实现代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-width, …

【Dots之003】SystemAPI.Query相关基础笔记

1、SystemAPI.Query 注&#xff1a;SystemAPI.Query只能作为foreach中in的的子句 SystemAPI.Query<RefRO<LocalTransform>>().WithAll<Obstacle>()解析&#xff1a;对于每个具有LocalTransform和Obstacle的Entity&#xff1b;都会将LocalTransform的只读引…

理虚实一体化全栈全场景云计算应用实训室解决方案

一、 云计算应用统概述 云计算应用系统是指基于云计算技术构建的应用系统&#xff0c;它将软件、数据、计算和存储资源部署在云服务器上&#xff0c;通过网络根据应用按照一定策略为用户提供相关服务。云计算应用系统广泛应用于各个领域&#xff0c;包括但不限于金融、教育、政…

不用订阅,不用破解,永久免费使用Axure最新版教程

首先去官网下载最新的axure&#xff0c;你没听错&#xff0c;就是最新的。 下载网址&#xff1a;Axure RP - UX Prototypes, Specifications, and Diagrams in One Tool 下载完后解压安装到本地&#xff0c;并注册属于你自己的账户&#xff0c;开始试用。可惜的是只有30天的试…

unity 场景烘培(边学习,边记录)

前言&#xff1a;好记性不如烂笔头&#xff0c;本文只提供参考&#xff01; 问题总结&#xff1a;1.unity 场景烘焙问题之模型UV有重叠_野区捕龙为宠的博客-CSDN博客 一、光源种类&#xff08;摘录&#xff1a;Unity灯光&#xff08;light&#xff09;_浮影℡的博客-CSDN博客…