一、什么是SDXL 0.9
Stability AI 发布了 SDXL 0.9,这是 Stable Diffusion 文本到图像模型套件中最先进的开发版本。b站很多人分享了使用comfyUI的本地使用方式。我今天就分享一下使用最新WEB扩展的方式来体验和使用最新SDXL。SDXL 0.9 能够在现代消费级 GPU 上运行,并使在创意方面生成的 AI 图像实现了巨大飞跃。SDXL对人类的指令理解更深,SDXL 0.9 比其前身大幅改进了图像和构图细节。真正能够为电影、电视、音乐和教学视频生成超现实的创作。
SDXL 系列还提供一系列超出基本文本提示的功能。其中包括图像到图像提示(输入一个图像以获取该图像的变体)、修复(重建图像的缺失部分)和修复(构建现有图像的无缝扩展)。
SDXL 0.9 组合进步的关键驱动因素是其参数数量(模型训练的神经网络中所有权重和偏差的总和)比 Beta 版本显着增加。SDXL 0.9 是所有开源图像模型中参数数量最多的模型之一,拥有 3.5B 参数基础模型和 6.6B 参数模型集成管道(最终输出是通过在两个模型上运行并聚合结果来创建的)。管道的第二阶段模型用于向第一阶段生成的输出添加更精细的细节。SDXL 0.9 在两个CLIP 模型上运行,包括迄今为止训练的最大 OpenCLIP 模型之一 (OpenCLIP ViT-G/14),它增强了 0.9 的处理能力以及创建具有更大深度和更高分辨率的逼真图像的能力。 1024×1024。
二、展示
女性站在窗户前,头发飘拂,是一部现代动漫作品,高度详细,数字绘制,完美构图,轻柔的氛围,傍晚的阳光
水下摄影,鲸鱼在一片青草从中穿梭,国家地理,自然摄影,尼康DSLR,广角镜头。
魔法现实,幽林在天空骑马
黄昏时分,在雾气蒙蒙的森林中漂浮的发光水母
三、系统要求
尽管具有强大的输出和先进的模型架构,SDXL 0.9 仍能够在现代消费类 GPU 上运行,只需要 Windows 10 或 11 或 Linux 操作系统、16GB RAM、Nvidia GeForce RTX 20 显卡(同等或更高版本)标准)配备至少 8GB VRAM。Linux 用户还可以使用具有 16GB VRAM 的兼容 AMD 卡。
现在,可以通过 ClipDrop 访问该模型,API 即将推出。SD XL1.0,模型权重将在 7 月中旬公开发布。
四、可用性
SDXL 0.9 现已在Clipdrop by Stability AI平台上提供
SDXL 0.9 将仅在有限的时间内提供用于研究目的,以在全面公开发布之前收集反馈并充分完善模型。运行它的代码将在Github上公开提供。
如果研究人员想访问这些模型,请使用以下链接进行申请:SDXL-0.9-Base model和SDXL-0.9-Refiner。请使用您的学术电子邮件登录您的 HuggingFace 帐户以请求访问权限。请记住,目前,SDXL 0.9 专门用于研究目的。
五、使用方式
1. 官网体验
网址:https://clipdrop.co/stable-diffusion
2.本地部署
本地需要安装stable-diffusion-webui,没有的可以在群里下载秋叶大佬的整合包。
步骤:
1. 点击扩展
2. 选择第三个选项卡,从网址安装。 输入扩展插件网址,然后点击安装:https://github.com/lifeisboringsoprogramming/sd-webui-xldemo-txt2img
3. 关闭控制台,并重新启动
4. 启动后,选择SDXL 0.9 DEMO选项卡
5. 首先点这里获取授权,需要注册一个hugging face账号。
6. 接着点击这里生成token
7. 点击创建token
8. 复制token,打开webui的设置界面,滑动到最下面选择 SDXL 0.9 DEMO,将token复制到输入框
1. 点击保存设置,并关闭控制台。然后重新一键启动
2. 耐心等待下载的模型。
3.使用方式
正常的文生图即可