近日，IDEA研究院认知计算与自然语言研究中心（简称IDEA研究院CCNL）开源了首个中文版本Stable Diffusion AIGC模型——太乙，让中文世界得以拥有具备中国文化内核的AIGC模型，未来更好地助力中国AIGC文化产业数字化转型的创新发展。

生成内容一直被视为 AI 领域中最具有挑战性的能力，最近大火的 AI 绘画背后，是 Stable Diffusion 模型的开源，催生了众多 AI 绘画的应用，得益于 Stability AI 的开源精神，这一创变推动了整个以英文为主的下游文生图生态的蓬勃发展。

然而在国内，目前大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发，但由于中英文之间存在文化差异，这种模型遇到中文独特的叙事和表达时，很难给出正确匹配的图片内容。IDEA 研究院CCNL开源了第一个中文版本的 Stable Diffusion 模型“太乙 Stable Diffusion”，让中文的世界真正拥有具备中国文化内核的 AIGC 模型。

1. 太乙Stable Diffusion 纯中文版本：https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

2. 太乙 Stable Diffusion 中英双语版本：https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1

中文运笔，意境浮现

君不见黄河之水天上来 ，唯美，油画

滔滔江水，连绵不绝，唯美，插画

飞流直下三千尺 ，唯美，插画

长城，清晨，朦胧，唯美，插画

梦回江南，中国古代小镇，唯美，插画

云南苗家古寨，原始森林，鸟语花香，唯美，插画

中国的未来城市，科幻插画

中文 vs 英文的图片生成

中文指导的特定风格生成

小桥流水人家，水彩

（Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1）

小桥流水人家，Van Gogh style

（Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1）

太乙系列文本生成图像模型技术揭秘

第一个开源中文 CLIP 模型

2022 年 7 月，IDEA研究院CCNL开源了第一个中文 CLIP 模型，目前已经有 4 个版本。

1. Taiyi-CLIP-Roberta-102M-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese

2. Taiyi-CLIP-Roberta-large-326M-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese

3. Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese

4. Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese

以 Taiyi-CLIP-Roberta-large-326M-Chinese 为例，IDEA研究院CCNL用中文语言模型替换了开源的英文 CLIP 中语言编码器，在训练过程中冻结了视觉编码器并且只微调这个中文语言模型，在 1 亿级别的中文数据上训练了 24 个 epoch，一共过了约 30 亿中文图文数据，得到了这个包含图片信息的中文表征语言模型，为后续训练中文 Diffusion 相关的模型奠定了重要的基础。

第一个开源中文 Disco Diffusion 模型

2022 年 10 月，IDEA研究院CCNL开源了第一个中文 Disco Diffusion 模型 Taiyi-Diffusion-532M-Nature-Chinese，该模型由 Katherine Crowson’s 的无条件扩散模型在自然风景图上微调而来。结合 Taiyi-CLIP-Roberta-large-326M-Chinese 可以实现中文生成各种风格的风景图片。

东临碣石，以观沧海，水何澹澹，山岛竦峙

第一个开源中文 Stable Diffusion 模型

2022 年 11 月，IDEA研究院CCNL开源了第一个中文 Stable Diffusion 的模型和中英双语 Stable Diffusion 模型。

太乙 Stable Diffusion 纯中文版本（Taiyi-Stable-Diffusion-1B-Chinese-v0.1）

该模型利用已经开源的太乙 CLIP 模型 (Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese) 替换了英文 Stable-Diffusion-v1-4 中的语言编码器，因为太乙 CLIP 模型已经具备了很强的中文图文概念，所以直接冻结英文 Stable Diffusion 的生成模型部分，在亿级别的高质量数据上微调语言编码器，调整学习率等超参数，将太乙 CLIP 模型理解的中文图文概念与 Stable Diffusion 生成能力对齐。

太乙 Stable Diffusion 中英双语版本（Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1）

不同于太乙 Stable Diffusion 纯中文版本，这个模型希望在支持中文的情况下，同时能保留 Stable-Diffusion-v1-4 的英文生成能力。由于Stable-Diffusion-v1-4 原有语言模型不具备太乙 CLIP 模型强大的中文图文概念，IDEA研究院CCNL希望在它的基础上增加了中文数据训练，这里采取了两阶段的训练。第一阶段也是冻住 Stable-Diffusion-v1-4 的生成模型部分，在亿级别的高质量数据上微调语言编码器，调整学习率等超参数，训练语言模型中文部分的表征。第二阶段放开 Stable-Diffusion-v1-4 的生成模型部分，增强中文引导图片生成的能力，目前训练中的一个 checkpoint 已取得不错的效果并进行了开源。

使用方法

如果需要进行古诗场景、中文概念生成，建议尝试中文版本 Taiyi-Stable-Diffusion-1B-Chinese-v0.1。如果需要一些通用场景和概念的生成，尤其是有中文混合英文需要，建议尝试中英双语版本 Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1。

中文版本

中英双语版本

太乙：中文 Stable Diffusion 的未来

目前在庞大的中国市场中，有将近 10 亿的文化产业正在被 AIGC 冲击并快速创新发展，也有更多的新机遇在裂变中产生。

由于此前的 AIGC 模型还无法和特殊的中国文化背景相结合，致力于成为中文认知智能的基础设施的 IDEA 研究院CCNL，希望通过推出太乙模型，助力加快在 AIGC 全球市场化中中国的文化产业数字化转型的创新发展，促进各个相关行业的升级。而太乙所在的封神榜预训练模型开源体系，已经开源 80 个模型，覆盖 AIGC、自然语言理解、受控文本生成等多个领域，成为中文最大的预训练模型开源体系。基于封神榜模型的 GTS 模型生产平台，自动生产的 1 亿参数模型，击败众多百亿千亿参数模型，进入 FewCLUE 榜单前三名，机器自动化生成模型的能力达到了算法专家水平，AI 生产 AI 的时代正在到来。

IDEA研究院CCNL认为，在 AIGC 中，人的作用是更为重要的，生成式 AI 应悄无声息地融入大众生活中并更好地帮助人类拓展想象力边界。所以，与 AI 互动生产的内容，是帮助 AIGC 走向下一个生产力阶段的关键。除了基础模型和基础算法的研究之外，团队还在研究更精准的文本生成和基于中文文本的交互式图片编辑。以太乙为核心的 AIGC 模型会持续更新和升级，敬请期待。

封神榜相关链接

1.封神榜总论文（中英双语）：

https://arxiv.org/abs/2209.02970

2.封神榜主页：

https://github.com/IDEA-CCNL/Fengshenbang-LM

3.huggingface 地址：

https://huggingface.co/IDEA-CCNL

4.封神榜 doc：

https://fengshenbang-doc.readthedocs.io/zh/latest/

（文章来源：机器之心）