【分享】在Open WebUI中配置图像生成和编辑

Open WebUI可以和ComfyUI联动,生成或编辑图像。但是openwebui的逻辑非常奇怪,设计了一个图像生成开关,和一个直接使用模型回复作为提示词生成图像的功能。这两个功能可以使用,但是体感较差,难以做到聊天生图无缝衔接,严重依赖用户手动开关生图功能决定是否生图,如果保持生图功能打开,就算任务模型输出空JSON串也会返回生成失败的提示。为了能实现模型自动决定是否生成图,我们需要添加自定义工具,通过openwebui的tool call功能实现编辑图和生成图完全自动化,无感绘画和生图。

可以从 Usage | Open WebUI 查看Open-WebUI内置的图像生成逻辑。

0x01 配置前准备

本文主要介绍使用ComfyUI进行配置的过程,但理论上类似的方法同样适用于Stable Diffusion WebUI等,只要在OpenWebUI中正确配置即可。为了调用生成图,首先需要正确配置和运行OpenWebUI以及ComfyUI。

可以参考 ComfyUI | Open WebUI 文档给出的步骤,在配置完成 ComfyUI 并导出API格式的工作流之后,按照要求导入到Open WebUI的图像菜单中(管理员面板-图像)。需要根据导出的工作流中的输出节点的id号填写对应的配置项,对于图像生成,只需要填写prompt的id,其余部分可以不填写使用工作流自带的设置;对于图像编辑,需要填写输入图像和输入prompt的id号,其余部分也可以不填写,使用工作流自带的设置。

注意:对于api导出的工作流,comfyui自带的k采样器随机种子功能无法正常工作,需要额外在工作流中添加一个用于生成随机种子的随机数节点,否则对于每次生成将使用导出工作流时的那个固定种子。

完成配置后,点击保存。图像生成和编辑的开关无需打开,我们将不使用这个入口。

0x02 导入工具

在 工作空间-工具 中导入用于生成图像和编辑图像的工具

导入完成后,在需要启用图像编辑的模型处打开工具调用。

也可以选择在对话时动态启用:

无论选择哪种方式,模型都会自主选择判断是否需要调用工具进行绘画,如果与绘画无关,则完全不会调用工具。从而实现无感绘画。

3anya-T0n1c / Open-WebUI_image-tools · GitLab 中可以下载用于图像调用的工具函数

注意:受制于openwebui的限制,编辑图像仅仅能编辑对话中最新的一张图像。

此外,无需再额外配置,工具内部将调用openwebui配置的函数访问图像生成,也不需要再开启Open WebUI的图像生成功能。

0x03 效果演示

生成图使用z-image-turbo,编辑图使用qwen-image-edit-2509,配合8步出图lora。

注意:由于没有对图像做预处理,因此建议在ComfyUI中对于编辑图传入一个增加一个缩放图像的节点,将图像缩小后传入。

图像生成:

图像编辑:

正常聊天:

可以看到,无需执行任何额外人为操作,只要正确配置工具函数,模型会自主决定和判断是否需要进行图像生成或编辑.

注意:如果生成了图片,但模型返回不支持图像编辑或图像生成类似的对话,则可能需要调整一下函数内生成成功后返回值,让模型知道自己已经成功生成图片了.
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇