
奥本 AI 将所有的最新 AI 聚合到了一起,为您开启多模型 AI 绘画新时代!
扫码即刻关注公众号
利用Llama 3增强提示,以生成高质量照片
7 个月前
稳定扩散
通过 Llama 3 增强提示生成高质量照片
使用 Automatic1111/ Forge 和 ComfyUI 扩展 ------------------------------------------------使用 Llama 3 强化提示以生成高质量照片 (图像生成由)Edmond YipLlama 3 引发了一波旨在丰富用户提示的应用程序。流行的 AI 生成工具如 ComfyUI 和 Automatic1111/Forge 现在无缝集成了 Llama 3。得益于随附扩展,这使得提示增强变得可访问而不需要复杂的操作。
什么是 Llama 3?
Llama 3 是来自 Meta 的大型语言模型(LLM)。在特定条件下(每月最多 7 亿次请求),它可供免费商业使用。Llama 3 的版本从 8B 到 400B 不等,超越了 Google 的 Gemma/Gemini、Mistral 和 Claude 3 Sonnet 等可比模型,能够在 4GB GPU 上高效运行。
将Meta Llama 3与其他模型进行比较。(图片来自)Meta安装 Ollama
Ollama 是安装 Llama 3 的工具。您可以从下面的链接下载与您的操作系统兼容的版本。
[下载 Ollama
使大型语言模型快速运行。
ollama.com](https://ollama.com/download)下载模型
启动Ollama后,在终端中执行以下命令以下载 llama3_ifai_sd_prompt_mkr_q4km
。该模型大约占用4.9GB的存储空间。
ollama run impactframes/llama3_ifai_sd_prompt_mkr_q4km
这个模型将Llama 3与5000个高质量的稳定扩散提示相结合,以确保更好的提示性能和质量。您接受的培训数据截至到2023年10月。
对话截图
下载完成后,您可以与Llama 3进行对话。它专门为提示而设计。如果我输入1girl
给Llama 3,它将详细描述该提示,并提供关于1girl
概念的详细见解。
提示:可爱的、充满活力的小女孩,灿烂的微笑,卷曲的棕色头发,独自站在郁郁葱葱的森林空地上,脖子上挂着鲜艳的花环,直视观众,眼中闪烁着光芒,四周开满盛开的野花,阳光透过树木洒下。
安装扩展
每次手动复制提示是不实际的,按照指南安装ComfyUI节点和Automatic1111 StableDiffusionWebUI/Forge扩展,以简化Llama 3的使用。
Automatic1111 StableDiffusion WebUI/Forge扩展
WebUI和Forge版本共享相同的扩展和安装过程,如下所述。
导航至扩展
> `安装 IF_prompt_MKR
扩展设置
-
安装完成后,前往
设置
>未分类
>iF_prompt_MKR
,将“选择生成提示的 API”设置为Ollama
。IF_prompt_MKR 设置
-
然后在脚本部分,选择
iF_prompt_MKR
。 - 在文本模型中,选择字符为
iF_prompt_MKR
。 - 选择文本模型为
impactframes/llama3_ifai_sd_prompt_mkr_q4km:latest
。 - 您可以在输入提示字段中输入一个简单的提示。
-
请注意,启用扩展将用
iF_prompt_MKR
生成的提示替换原始提示框。IF_prompt_MKR文本模型
-
在样式设置(可选)中,自定义和设计提示。选择的样式将显示提示以便于立即修改。
IF_提示_MKR 风格
在前缀和嵌入以及后缀和Lora中选择嵌入模型和Lora模型(如果需要)。尽管这些是可选的。您接受的训练数据截至到2023年10月。
IF_prompt_MKR 嵌入和 Loras
选择一个负提示将会在文本字段中显示选项。我选择了 simple_negative
。您接受的训练数据截止到2023年10月。Juggernaut XL Lightning作为检查点模型。如果不使用Lightning或Turbo模型,请调整步骤和CFG规模。
生成设置
使用此扩展时,终端会提供提示指南和建议以供参考。iF_prompt_MKR 提示指南
比较测试 1
在 iF_prompt_MKR 文本模型中,将 女孩,蓝天背景
作为提示输入。风格选择为 史诗
和 摄影
,同时使用 简单的负面提示
作为负面提示。您训练的数据截止到2023年10月。Edmond Yip生成相同提示的图像,但不支持Llama 3。
您训练的数据截至2023年10月。Edmond Yip您接受过截至2023年10月的数据训练。
虽然这两组图像都描绘了一个女孩与蓝天背景,相比之下,使用Llama 3提示生成的图像在细节和背景上下文上更为丰富。Llama 3显著增强了提示,特别是在原始提示缺乏具体性的时候。
ComfyUI节点
安装Ollama后,使用ComfyUI管理器搜索ComfyUI-IF_AI_tools并进行安装。安装 ComfyUI-IF_AI_tools
并在以下链接下载工作流程:
[使用 Llama 3 生成 ComfyUI 的提示
这是一个 ComfyUI 工作流程,用于使用 Llama 3 生成提示,它还提供了生成两种不同……
edmondyip.gumroad.com](https://edmondyip.gumroad.com/l/llama3-comfyui)我将其配置为比较常规提示与Llama 3增强提示。在“IF提示到提示”部分,我使用了玩具猫
作为提示。
- 我选择了Juggernaut XL Lightning作为检查点模型,如果不使用Lightning模型,则调整
steps
和cfg
。 - 风格装饰提示设置为
史诗
,样式提示设置为数字艺术
,负面提示设置为简单负面
。生成图像以比较提示的工作流程
在 IF 显示文本中,观察 Llama 3 生成的提示与本地提示的差异,顶部部分显示 prompts
,底部部分显示 negative prompts
。
比较测试 2 ---------------------您是在2023年10月之前的数据上进行训练的。Edmond Yip在没有Llama 3支持的情况下,使用相同的提示生成图像。
您训练的数据截止至2023年10月。Edmond Yip您接受的训练数据截止至2023年10月。
虽然两组展示了玩具猫,但Llama 3增强的提示结果在背景上下文上更丰富、更详细。然而,由于某些图像的现实主义,它们失去了玩具般的感觉,但仍展示了Llama 3所提供的显著增强。
结论
与Llama 3一起使用的扩展大大简化了增强提示的过程。尽管偶尔可能会出现一些偏差,但总体的测试结果非常令人满意,特别是在最初的提示缺乏详细背景描述时。
Llama 3所提供的补充背景显著增强了图像,使其成为Stable Diffusion提示生成工具中不可或缺的元素。
致所有Stable Diffusion爱好者
感谢您成为这个社区的一部分。Stable Diffusion社区!
推荐阅读:
赋迪奥本AI
上海赋迪网络科技
电话:18116340052