Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节

---

很快啊，“文生图新王”stable diffusion 3的技术报告，这就来了。

全文一共28页，诚意满满。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

“老规矩”，宣传海报（⬇️）直接用模型生成，再秀一把文字渲染能力：

所以，SD3这比DALL·E 3和Midjourney v6都要强的文字以及指令跟随技能，究竟怎么点亮的？

技术报告揭露：

全靠多模态扩散Transformer架构MMDiT。

通过对图像和文本表示分别应用不同组权重的方法，实现了比之前版本更强大的性能提升，这是成功的关键。

具体几何，我们翻开报告来看。

微调DiT，提升文本渲染能力

在发布SD3之初，官方就已经透露它的架构和Sora同源，属于扩散型Transformer——DiT。

现在答案揭晓：

由于文生图模型需要考虑文本和图像两种模式，Stability AI比DiT更近一步，提出了新架构MMDiT。

这里的“MM”就是指“multimodal”。

和Stable Diffusion此前的版本一样，官方用两个预训练模型来获得合适和文本和图像表示。

其中文本表示的编码用三种不同的文本嵌入器（embedders）来搞定，包括两个CLIP模型和一个T5模型。

图像token的编码则用一个改进的自动编码器模型来完成。

由于文本和图像的embedding在概念上完全不是一个东西，因此，SD3对这两种模式使用了两组独立的权重。

（有网友吐槽：这个架构图好像要启动“人类补完计划”啊，嗯是的，有人就是“看到了《新世纪福音战士》的资料才点进来这篇报告的”）

言归正传，如上图所示，这相当于每种模态都有两个独立的transformer，但是会将它们的序列连接起来进行注意力操作。

这样，两种表示都可以在自己的空间中工作，同时还能考虑到另一种。

最终，通过这种方法，信息就可以在图像和文本token之间“流动”，在输出时提高模型的整体理解能力和文字渲染能力。

并且正如之前的效果展示，这种架构还可以轻松扩展到视频等多种模式。

具体测试则显示，MMDiT出于DiT却胜于DiT：

它在训练过程中的视觉保真度和文本对齐度都优于现有的文本到图像backbone，比如UViT、DiT。

重新加权流技术，不断提升性能

在发布之初，除了扩散型Transformer架构，官方还透露SD3结合了flow matching。

什么“流”？

如今天发布的论文标题所揭露，SD3采用的正是“Rectified Flow”（RF）。

这是一个“极度简化、一步生成”的扩散模型生成新方法，入选了ICLR2025。

它可以使模型的数据和噪声在训练期间以线性轨迹进行连接，产生更“直”的推理路径，从而可以使用更少的步骤进行采样。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

基于RF，SD3在训练过程中引入了一张全新的轨迹采样。

它主打给轨迹的中间部分更多权重，因为作者假设这些部分会完成更具挑战性的预测任务。

通过多个数据集、指标和采样器配置，与其他60个扩散轨迹方法（比如LDM、EDM和ADM）测试这一生成方法发现：

虽然以前的RF方法在少步采样方案中表现出不错的性能，但它们的相对性能随着步数的增加而下降。

相比之下，SD3重新加权的RF变体可以不断提高性能。

模型能力还可进一步提高

官方使用重新加权的RF方法和MMDiT架构对文本到图像的生成进行了规模化研究（scaling study）。

训练的模型范围从15个具有4.5亿参数的模块到38个具有80亿参数的模块。

从中他们观察到：随着模型大小和训练步骤的增加，验证损失呈现出平滑的下降趋势，即模型通过不断学习适应了更为复杂的数据。

为了测试这是否在模型输出上转化为更有意义的改进，官方还评估了自动图像对齐指标（GenEval）以及人类偏好评分（ELO）。

结果是：

两者有很强的相关性。即验证损失可以作为一个很有力的指标，预测整体模型表现。

此外，由于这里的扩展趋势没有出现饱和迹象（即即随着模型规模的增加，性能仍在提升，没有达到极限），官方很乐观地表示：

未来的SD3性能还能继续提高。

最后，技术报告还提到了文本编码器的问题：

通过移除用于推理的47亿参数、内存密集型T5文本编码器，SD3的内存需求可以显著降低，但同时，性能损失很小（win rate从50%降到46%）。

不过，为了文字渲染能力，官方还是建议不要去掉T5，因为没有它，文本表示的win rate将跌至38%。

那么总结一下就是说：SD3的3个文本编码器中，T5在生成带文本图像（以及高度详细的场景描述图）时贡献是最大的。

网友：开源承诺如期兑现，感恩

SD3报告一出，不少网友就表示：

Stability AI对开源的承诺如期而至很是欣慰，希望他们能够继续保持并长久运营下去。

还有人就差报OpenAI大名了：

更加值得欣慰的是，有人在评论区提到：

SD3模型的权重全部都可以下载，目前规划的是8亿参数、20亿参数和80亿参数。

速度怎么样？

咳咳，技术报告有提：

80亿的SD3在24GB的RTX 4090上需要34s才能生成1024*1024的图像（采样步骤50个）——不过这只是早期未经优化的初步推理测试结果。

报告全文：https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf 。
参考链接：
[1]https://stability.ai/news/stable-diffusion-3-research-paper。
[2]https://news.ycombinator.com/item?id=39599958。

以上就是Stable Diffusion 3技术报告出炉：揭露Sora同款架构细节的详细内容，更多请关注其它相关文章！

# 腾讯  # 平房租房网站建设  # 辽宁自媒体营销推广五星服务  # 长丰seo网络推广公司价格  # 云阳县的网站建设  # 北海营销推广团队  # seo主流模式  # 沈河区如何网站建设  # 游戏行业网站建设宣传  # 雅思seo  # 营销竞赛推广会主持词  # 上海  # 之初  # sd3  # 两种  # 还能  # 多个  # 这是  # 中国科学院  # 的是  # 开源  # midjourney  # stable diffusion  # sora  # 文生图模型  # mmdit 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 人工智能进入绿植界，智能庭院市场初具规模  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  全球首款AI裸眼3D平板 国产的售价破万  从GOXR到PartyOn，XRSPACE致力打造多元共赢的元宇宙世界  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  AIGC 风潮刮到游戏产业，巨人网络与阿里云达成“游戏 +AI ”合作  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景  AI大模型火了！科技巨头纷纷加入，多地政策加码加速落地  AMD称下半年AI显卡供应充足，不需要像NVIDIA那样加价抢购  重塑未来生活的五项技术趋势  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  全新“AI助手”！讯飞星火助手中心人机协作共创新生态  技术如何使人变得懒惰？  人形机器人概念大热！这些产业链标的或受提振  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  Snap宣布研发出新技术 可大幅提升AI生成图像速度  泗洪：畅通城市“血管” ，管下机器人来帮忙  日新月异，脑机接口技术都有哪些新应用？  万魔推出AI主攻的运动耳机，开启十年研发新纪元  SnapFusion技术大幅提升AI图像生成速度  华为盘古AI模型实现秒级全球气象预报时间缩短  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  “苏南 vs 苏北” AI 分胜负，娱乐性比较工具 EitherChoice 上线  英特尔张宇：边缘计算在整个AI生态系统中扮演重要角色  不到2S创作AI图像！Snap发布图像生成器SnapFusion  谷歌推出 SAIF 框架，倡导安全环境下探索和发展人工智能  DreamAvatar数字人在哪里下载  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  南京制造的国产工业机器人：在外资品牌竞争中突围，年销售1.8万台  智能技术提高现代商业运营的7七种方式  华为云盘古大模型3.0发布 AI云服务同时上线：200亿亿次性能  如何获得元宇宙的第一个属于自己的空间  调查：过半数艺术家认为 AI 作图无法帮助他们的工作  国网辉南供电：无人机空中巡检 全力护航端午佳节  人工智能时代 数字文明对话向“尼”走来  机器人加速！稀土永磁也被带火，持续性如何？  美图公司吴欣鸿：AI技术重构影像产业  650亿参数，8块GPU就能全参数微调：邱锡鹏团队把大模型门槛打下来了  电池比 Air 2S 大 20%，大疆 Air 3 无人机现身 FCC  AIGC浪潮下，联想集团再加码计算与人工智能  人工智能在交通领域的革新：智能解决方案彻底改变交通方式  AI 大模型重塑软件开发，有哪些落地前景和痛点？| ArchSummit  下一个前沿：量子机器学习和人工智能的未来  生活垃圾智能分类机器人社区展“才能”，征求居民意见  智能机器人与话剧的完美结合：宇树四足机器人B1助力《骆驼祥子》重现经典  提高开发效率：AmazonCodeWhisperer与Amazon Glue的集成和生成式AI的应用  这效果能打几分？AI真人化《名侦探柯南》  Valve 将拒绝采用 AI 生成未知版权内容的游戏上架 Steam  OpenAI 静默关闭 AI 文本检测工具，准确率仅为 26% 

 2024-03-07