【AIGC专题】Stable Diffusion 从入门到企业级应用0414

news/2024/7/10 22:31:37 标签: stable diffusion, 人工智能, controlnet

一、前言

本文是《Stable Diffusion 从入门到企业级应用实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》的第0414篇 利用Stable Diffusion ControlNet 法线贴图模型精准控制图像生成。本部分内容,位于整个Stable Diffusion生态体系的位置如下图黄色部分所示:

        法线就是指模型表面的凹凸感,而凹凸感的产生是因为模型表面像素的光照条件不一样产生的。在逐像素计算光照时,每一个像素都会根据该点的法向量来计算最终该点的光照结果,那么,我们如果能够改变这个法线的方向,就可以改变这个点的光照结果,进而影响模型表面凹凸感。
         最早的法线贴图实现方式是使用凹凸贴图(Bump Map),简单来讲就是给一张灰度图,默认为黑色,越凸起的地方颜色越亮,通过采样点之间斜率决定像素是否位于边缘,从而影响光照明暗。
          Unity法线贴图一般都是存储在切线空间。切线空间的z轴就是顶点所在面的法线方向,该点的uv二维坐标系则用来表达该点的切线(tangent)和该点的次法线(binormal)方向。
This model can accept normal maps from rendering engines as long as the normal map follows ScanNet's protocol.

二、创作成果

三、生成过程

3.1 工作流程

整个创建,过程可以分为三个步骤:环境部署、模型下载、模型推理。

3.2 环境部署

我们的环境部署,没有采用webUI的方式,进行而是配置了基于ControlNet v1.1 进行了原始环境部署。源码资源如下图所示:

3.3 模型下载

3.4 模型推理

启动程序:

操作界面:

提示词:

提示通过图像 + Prompt组合的模式进行,本文,我们使用的提示为:cute toy. 

呆萌,呆萌的图像输出,是不是瞬间俘获了你的内心。

四、小结

本文是《Stable Diffusion 从入门到企业级应用实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》的第14篇 《利用Stable Diffusion ControlNet NormalBAE 法线贴图模型精准控制图像生成》。下一章,我们将要分享《Stable Diffusion ControlNet v1.1 图像精准控制》的第13篇《利用Stable Diffusion ControlNet Tile 磁贴模型精准控制图像生成 》。敬请期待。


http://www.niftyadmin.cn/n/5004137.html

相关文章

解决github连接不上的问题

改 hosts 我们在浏览器输入 GitHub 的网址时,会向 DNS 服务器发送一个请求,获取到 GitHub 网站所在的服务器 IP 地址,从而进行访问。 就像你是一名快递员,在送快递前要先找中间人询问收件人的地址。而 DNS 就是这个告诉你目标地址…

Hive_Hive统计指令analyze table和 describe table

之前在公司内部经常会看到表的元信息的一些统计信息,当时非常好奇是如何做实现的。 现在发现这些信息主要是基于 analyze table 去做统计的,分享给大家 实现的效果某一个表中每个列的空值数量,重复值数量等,平均长度 具体的指令…

基于SpringBoot+Vue架构的药物咨询平台

✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取项目下载方式🍅 一、项目背景介绍: 随着人们对健康和医疗…

pytorch自定义算子并导出onnx计算图详细代码教程

(torch_env) rootf123:/mnt/d/work/learning-cuda-trt/learning-cuda-trt-main/tensorrt-basic-1.8-integrate-easyplugin# python gen-onnx.py 对应opset文件夹代码在这里: /root/anaconda3/envs/torch_env/lib/python3.9/site-packages/torch/onnx inference outp…

等级保护 —— 安全控制点,安全要求

等级保护 —— 安全控制点,安全要求 安全物理环境: 物理位置选择 a)机房场地应选择在具有防震、防风和防雨等能力的建筑内; 1)核查是否有建筑物抗震设防审批文档。2)核查是否有雨水渗漏的痕迹。3&#…

Java数组示例

数组有不同的初始化方式;int类型数组未初始化则元素默认值为0;Arrays.fill用指定的值填充数组; import java.util.Arrays;public class TestNew { public static void main(String args[]) { int i ; int[] numbers {11, 12, 13, 14, 1…

超详细-Vivado配置Sublime+Sublime实现VHDL语法实时检查

目录 一、前言 二、准备工作 三、Vivado配置Sublime 3.1 Vivado配置Sublime 3.2 环境变量添加 3.3 环境变量验证 3.4 Vivado设置 3.5 配置验证 3.6 解决Vivado配置失败问题 四、Sublime配置 4.1 Sublime安装Package Control 4.2 Sublime安装VHDL插件 4.3 语法检查…

GPT转换工具:轻松将MBR转换为GPT磁盘

为什么需要将MBR转换为GPT? 众所周知,Windows 11已经发布很长时间了。在此期间,许多老用户已经从Windows 10升级到Windows 11。但有些用户仍在运行Windows 10。对于那些想要升级到Win 11的用户来说,他们可能不确定Win 11应该使…