SCEPTER:由阿里巴巴开发的,一个专为生成模型设计的开源框架

用于训练、微调和推理生成模型,涵盖诸如图像生成、转换、编辑等下游任务。

专门用于支持和简化图像生成、合成和编辑任务的开发,包括从文本到图像的生成和高级图像编辑技术。

1、任务支持:

文本到图像生成:支持将文本描述转换为相应的图像。例如,根据描述自动生成图像内容。

可控图像合成:能够在图像生成过程中控制特定的属性或特征。
图像编辑(待完成):将支持对生成的图像进行编辑和修改。

2、训练/推理:

支持多种分布式训练方法,这些是深度学习训练的不同技术,用于有效处理大量数据和模型。具体包括:DDP(Distributed Data Parallel):分布式数据并行。

FSDP(Fully Sharded Data Parallel):完全分片数据并行。

FairScale:一个用于提高训练效率的库。

Xformers:针对特定类型的模型优化的变压器。

3、部署:提供了一个完整的解决方案,包括数据管理、训练和推理,使得整个过程从准备数据到训练和使用模型更加方便。

4、当前支持的方法:

包括对一些特定的生成方法的支持:稳定扩散系列(Stable Diffusion v1.5/v2.1/XL):一种用于图像生成的方法,特别适用于生成高质量、细节丰富的图像。

SCEdit:一种高效且可控的图像扩散生成方法,用于图像合成和编辑。

GitHub:https://github.com/modelscope/scepter

微海报