【Stable-Diffusion】和【DeepFaceLab】配合:事半功倍甚至天衣无缝

文章目录

  • (零)前言
  • (一)DeepFaceLab(DeepFake)
  • (二)Stable-Diffusion(WEBUI)
  • (三)AI相互配合(加上人)

(零)前言

本篇主要提到:人工智能SD+人脑 + 人工智能DFL配合,最终让仅有少量照片的人物出现在视频中。
更多Stable-Diffusion(AI绘图)内容:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》
更多DeepFaceLab(换脸)内容无单独索引:🔗《可以提高DeepFaceLab(DeepFake)合成最终视频速度的方法》

DeepFaceLabDeepFake_8">(一)DeepFaceLab(DeepFake)

换脸的效果非常好,它较最初的DeepFake有很大改进,生成的视频能以假乱真(还需后期处理一下噪点等)。
但DFL需要大量高质量的图片源脸(Source)(src),如果仅有少量照片,则无法涵盖多个角度光影,甚至连清晰度都不够。这时强行使用DFL学习则很难降低loss,AI再厉害也回天乏术,最终视频效果根本无法入目。

参考:来自[伊万-佩罗夫]的 Git仓库地址,论文地址。

(二)Stable-Diffusion(WEBUI)

通过在一个潜在表示空间中迭代“去噪”数据来生成图像。最大的特点是非常快,用普通的显卡几秒钟可以画出结果。
同时可以通过比较少量图片来训练LoRA模型。但对于生成人物来说,远景加面部表情有些问题,有时生成很像,有时不像,有时很离谱。

参考:这是我们用到的 SD仓库,WEBUI仓库,以及 论文地址。

(三)AI相互配合(加上人)

别忘了Stable-Diffusion生成图片很快,甚至训练也很快。
我们还可以通过提示词(Prompt)控制人物姿态方向表情动作。所以我们可以这么干:

  1. 用某个人物少量的照片生成TA的LoRA模型。
  2. 让电脑疯狂的生成大量该模型的图片(近景,面部特写)。
  3. 你自己判断和选出很像的图片 💡 (重要)。
  4. 把这些图片给DFL作为素材使用。

是的,既然人工智能无法保障面部特征和细微表情,人可以自己判断。
这样一来,缺失但重要的一环就补上了。

这就是取长补短吧——真正实现了所谓人工智能:你来负责人工,计算机负责智能。🤪
玩笑归玩笑,也许有一天AI能真的知道,照片到底像不像人。


快去翻翻老照片,看看祖爷爷/祖奶奶照片够不够训练一个模型。
也许真能让他们生动的出现在视频中。


需要放图么?这里没有例图,也不需要示意图和结构图吧。
😜Happy Creating……


http://www.niftyadmin.cn/n/302565.html

相关文章

sqli-labs通关(十七)

第十七关 这一关跟前面的关卡都不一样,是全新的关卡,页面是一个密码重置页面,需要输入用户名,然后输入新的密码,就会把我们的旧密码替换掉。所以就会用到数据库的update更新数据,不再是前面的查询数据&…

ShardingSphere系列四(Sharding-JDBC内核原理及核心源码解析)

文章目录 1. ShardingSphere内核解析1.1 解析引擎1.2 路由引擎1.3 改写引擎1.4 执行引擎1.5 归并引擎 2. ShardingSphere的SPI扩展点2.1 SPI机制2.2 ShardingSphere中的SPI扩展点2.3 实现自定义主键生成策略 3. ShardingSphere源码 1. ShardingSphere内核解析 ShardingSphere虽…

shell脚本----函数

文章目录 一、函数的定义1.1 shell函数:1.2函数如何定义 二、函数的返回值三、函数的传参四、函数变量的作用范围五、函数的递归六、函数库 一、函数的定义 1.1 shell函数: 使用函数可以避免代码重复使用函数可以将大的工程分割为若干小的功能模块,代码的可读性更…

antd 中日期组件添加左侧日期范围选择

一、产品需求 产品有这样一个需求, 在实时的日期组件左侧添加一个快捷时间范围选择,并且选择后,窗口不会自动关闭。 大致样式长这样: 二、需求拆解 拆解一下这个需求,需要满足三个要点: ① 快捷时间范围…

网络扫盲:Tcp协议和hettp、https协议、三次握手四次挥手

HTTP(Hypertext Transfer Protocol) 是一种用于传输超文本的协议,是Web应用程序的基础。HTTP协议使用客户端-服务器模型,客户端发出请求,服务器返回响应。HTTP协议是无状态的,即服务器不会记住之前的请求和…

2022年5月、11月网络工程师真题详解

请点击↑关注、收藏,本博客免费为你获取精彩知识分享!有惊喜哟!! 2022年5月网络工程师科目二真题 试题一: 某分支机构网络拓扑图如 1-1 所示,该网络通过 BGP 接收总部网络路由,设备 1 与设备…

媒体邀约服务

传媒如春雨,润物细无声,大家好,我是51媒体网胡老师。 媒体邀约是什么?专业的媒体邀约服务包含哪些内容?怎么选择合适的媒体邀约服务机构? 今天胡老师就跟大家分享下这方面你的经验。 一,媒体邀…

RabbitMQ、RocketMQ、Kafka为啥性能差别这么大

RabbitMQ、RocketMQ、Kafka都是目前流行的消息队列中间件,它们各自有不同的设计思路和特点,在性能方面也存在差异。 首先,RabbitMQ是基于Erlang语言实现的,Erlang语言天生适合高并发分布式场景。RabbitMQ针对AMQP协议进行优化&am…