奥本 AI 将所有的最新 AI 聚合到了一起,为您开启多模型 AI 绘画新时代!

扫码即刻关注公众号

利用Llama 3增强提示,以生成高质量照片


7 个月前

稳定扩散

通过 Llama 3 增强提示生成高质量照片

使用 Automatic1111/ Forge 和 ComfyUI 扩展 ------------------------------------------------使用 Llama 3 强化提示以生成高质量照片 (图像生成由)Edmond YipLlama 3 引发了一波旨在丰富用户提示的应用程序。流行的 AI 生成工具如 ComfyUIAutomatic1111/Forge 现在无缝集成了 Llama 3。得益于随附扩展,这使得提示增强变得可访问而不需要复杂的操作。

什么是 Llama 3?

Llama 3 是来自 Meta 的大型语言模型(LLM)。在特定条件下(每月最多 7 亿次请求),它可供免费商业使用。Llama 3 的版本从 8B 到 400B 不等,超越了 Google 的 Gemma/Gemini、Mistral 和 Claude 3 Sonnet 等可比模型,能够在 4GB GPU 上高效运行。将Meta Llama 3与其他模型进行比较。(图片来自)Meta安装 Ollama

Ollama 是安装 Llama 3 的工具。您可以从下面的链接下载与您的操作系统兼容的版本。

[下载 Ollama

使大型语言模型快速运行。

ollama.com](https://ollama.com/download)下载模型

启动Ollama后,在终端中执行以下命令以下载 llama3_ifai_sd_prompt_mkr_q4km。该模型大约占用4.9GB的存储空间。

ollama run impactframes/llama3_ifai_sd_prompt_mkr_q4km 这个模型将Llama 3与5000个高质量的稳定扩散提示相结合,以确保更好的提示性能和质量。您接受的培训数据截至到2023年10月。

对话截图

下载完成后,您可以与Llama 3进行对话。它专门为提示而设计。如果我输入1girl给Llama 3,它将详细描述该提示,并提供关于1girl概念的详细见解。

提示:可爱的、充满活力的小女孩,灿烂的微笑,卷曲的棕色头发,独自站在郁郁葱葱的森林空地上,脖子上挂着鲜艳的花环,直视观众,眼中闪烁着光芒,四周开满盛开的野花,阳光透过树木洒下。

安装扩展

每次手动复制提示是不实际的,按照指南安装ComfyUI节点和Automatic1111 StableDiffusionWebUI/Forge扩展,以简化Llama 3的使用。

Automatic1111 StableDiffusion WebUI/Forge扩展

WebUI和Forge版本共享相同的扩展和安装过程,如下所述。

导航至扩展 > `安装 IF_prompt_MKR

扩展设置

  • 安装完成后,前往 设置 > 未分类 > iF_prompt_MKR,将“选择生成提示的 API”设置为 OllamaIF_prompt_MKR 设置

  • 然后在脚本部分,选择 iF_prompt_MKR

  • 在文本模型中,选择字符为 iF_prompt_MKR
  • 选择文本模型为 impactframes/llama3_ifai_sd_prompt_mkr_q4km:latest
  • 您可以在输入提示字段中输入一个简单的提示。
  • 请注意,启用扩展将用 iF_prompt_MKR 生成的提示替换原始提示框。IF_prompt_MKR文本模型

  • 在样式设置(可选)中,自定义和设计提示。选择的样式将显示提示以便于立即修改。IF_提示_MKR 风格

在前缀和嵌入以及后缀和Lora中选择嵌入模型和Lora模型(如果需要)。尽管这些是可选的。您接受的训练数据截至到2023年10月。

IF_prompt_MKR 嵌入和 Loras

选择一个负提示将会在文本字段中显示选项。我选择了 simple_negative您接受的训练数据截止到2023年10月。Juggernaut XL Lightning作为检查点模型。如果不使用Lightning或Turbo模型,请调整步骤和CFG规模。生成设置

使用此扩展时,终端会提供提示指南和建议以供参考。iF_prompt_MKR 提示指南

比较测试 1

在 iF_prompt_MKR 文本模型中,将 女孩,蓝天背景 作为提示输入。风格选择为 史诗摄影,同时使用 简单的负面提示 作为负面提示。您训练的数据截止到2023年10月。Edmond Yip生成相同提示的图像,但不支持Llama 3。您训练的数据截至2023年10月。Edmond Yip您接受过截至2023年10月的数据训练。

虽然这两组图像都描绘了一个女孩与蓝天背景,相比之下,使用Llama 3提示生成的图像在细节和背景上下文上更为丰富。Llama 3显著增强了提示,特别是在原始提示缺乏具体性的时候。

ComfyUI节点

安装Ollama后,使用ComfyUI管理器搜索ComfyUI-IF_AI_tools并进行安装。安装 ComfyUI-IF_AI_tools

并在以下链接下载工作流程:

[使用 Llama 3 生成 ComfyUI 的提示

这是一个 ComfyUI 工作流程,用于使用 Llama 3 生成提示,它还提供了生成两种不同……

edmondyip.gumroad.com](https://edmondyip.gumroad.com/l/llama3-comfyui)我将其配置为比较常规提示与Llama 3增强提示。在“IF提示到提示”部分,我使用了玩具猫作为提示。

  • 我选择了Juggernaut XL Lightning作为检查点模型,如果不使用Lightning模型,则调整stepscfg
  • 风格装饰提示设置为史诗,样式提示设置为数字艺术,负面提示设置为简单负面生成图像以比较提示的工作流程

在 IF 显示文本中,观察 Llama 3 生成的提示与本地提示的差异,顶部部分显示 prompts,底部部分显示 negative prompts

比较测试 2 ---------------------您是在2023年10月之前的数据上进行训练的。Edmond Yip在没有Llama 3支持的情况下,使用相同的提示生成图像。您训练的数据截止至2023年10月。Edmond Yip您接受的训练数据截止至2023年10月。

虽然两组展示了玩具猫,但Llama 3增强的提示结果在背景上下文上更丰富、更详细。然而,由于某些图像的现实主义,它们失去了玩具般的感觉,但仍展示了Llama 3所提供的显著增强。

结论

与Llama 3一起使用的扩展大大简化了增强提示的过程。尽管偶尔可能会出现一些偏差,但总体的测试结果非常令人满意,特别是在最初的提示缺乏详细背景描述时。

Llama 3所提供的补充背景显著增强了图像,使其成为Stable Diffusion提示生成工具中不可或缺的元素。

致所有Stable Diffusion爱好者

感谢您成为这个社区的一部分。Stable Diffusion社区!

上海赋迪网络科技

电话:18116340052