在前面的文章大A写了一篇 如何制作AI艺术感爆棚的二维码,很多小伙伴私信反馈说,很好,很细,但是太麻烦咯!
第一版确实挺麻烦,如果你还记得上一篇文章中的实现,一些麻烦的点在于
- 需要将二维码/链接转换为短码
- 需要使用到3个 ControlNet 插件,还需要微调参数
- 模型下载困难
在这一节大A会把最新实践带给大家,只需要一个 ControlNet 插件即可完成,而且不需要使用短码二维码,绝对的高产!
一 模型安装
这一次实战,我们会用到两个 ControlNet 插件
- controlnetQRPatternQR_v10
- control_v1p_sd15_brightness
考虑到大家的网络原因,这两个插件我都放在了网盘,大家需要的话可以在公众号 AI绘画精选 回复 二维码 获取链接!
有了插件模型之后,接着我们需要放到我们的 Stable Diffusion 中。在前面的文章中,我们介绍了两种使用 Stable Diffusion 的方式,下面我们分别讲一讲如何具体安装:
lanrui 云部署方式安装
如果你是用的是这种方式来玩 Stable Diffusion,由于 larui 不支持直接将 ControlNet 模型放入到指定的文件夹中,目前来看应该是个 bug
那我们想要上传的话就需要单独创建一个文件夹,然后配置读取我们自定义的文件夹。
1 创建自定义文件夹
2 上传模型插件
将下载到的模型上传到该文件夹,如果你有兴趣的话也可以研究下通过命令行或者客户端上传
3 设置自定义模型读取文件夹
上传完之后启动 Stable Diffusion,在设置页面配置自定义的模型文件夹
4 设置完之后,重新启动
设置完成之后,需要重新启动。可以在 ControlNet 模型选项中看到上传好的模型
Kaggle 云部署方案
如果你使用的是这篇文章介绍的使用方式 【连接】
那么很幸运,我已经内置了这两个 ControlNet 模型,你只需要重新打开启动 Stable Diffusion 即可。注意版本是版本9哦!
二 开始出图
出图的效果好坏需要不断的调参,通过大量的微调,我找到了一个比较合适的参数,大家可以先按照我给的参数进行出图。在下一步再进行解释如何把控参数的设置
填写基础 Prompt 设置
yaml复制代码模型: ghostmix (大家可以选择自己喜欢的)
正向 prompt: ((masterpice, best quality)), illustration world asian inspired art with a (city and many object), cartoon style, in the style of playfully intricate, abstractions, (colorful), an energetic and chaotic style, modern futuristic
反向 prompt: (worst quality, low quality, normal quality:1.4),blurry, FastNegativeV2,BadDream, UnrealisticDream, no chinese style
采样器:DPM++ 2M Karras
步数:30
设置第一个 ControlNet — brightness (可选)
设置第一个 ControlNet 的模型配置 control_v1p_sd15_brightness
,这是一个可选的,这个模型的作用是可以让我们的二维码更亮一些,不然会比较暗。可以按照下图给的参数进行设置
设置 第二个 ControlNet — controlnetQRPatternQR
这个模型是用于渲染融合二维码。其中:
control weight
:决定了在融合二维码时,二维码的比重(越大,二维码越明显)starting Control Step
: 这个模型会在 20%的步数开始起作用(比如总步数是20,那么这个模型就会从第 4 步开始起作用,前4步会完全按照 prompt 绘制)
同样的,建议你也先按照下图给的参数先出图,接着在慢慢微调找感觉
出图效果
左图是不使用 brightness
ControlNet 模型的效果。右图是使用的效果。效果对比很明显了,使用的话最终出图的效果会更好!
三 如何微调
虽然影响最终出图的效果的参数有很多,但是最主要的影响点还是 controlnetQRPatternQR
的参数。一般出图会有两种问题
出图的图无法扫描
这种情况可以通过增大 controlnetQRPatternQR
的 control weight
比重;或者是减小 starting Control Step
让模型更快的加入到融合
出图中效果不好,二维码痕迹太重
这种就相反了,增大 starting Control Step
或者 减小 control weight
的比重
我跑了一张巨大的图,设置了 starting Control Step
从 0.1-0.5(+0.05) 和 control weight
从 0.7-1.7(+0.1) ;整个图片 将近 400M,没办法贴上来。如果你需要的话也可以在公众号回复 二维码
即可获取链接!
四 如何高清修复二维码
一步到位 在出图的时候,勾选 高分辨修复,重绘幅度 设置为0,然后选择 R-ESRGAN 4x++ 高清算法
附加功能高清修复
把生成的图片发送到 附件功能中,使用同样的高清修复算法进行修复下载。
相对于上一个版本,这个版本整体的效果和使用体验要好上不少,在中间使用的过程中,有遇到问题都可以私聊哈!燥起来!!
本文使用 mdnice 排版