AI 概念

发布于 2026-09-27

扩散 Transformer

扩散 Transformer 是一种处理不同模态信息的网络架构设计,与双流 Dual-stream 对比的示例;

DiT 全称 Diffusion Transformer,中文通常称为扩散 Transformer。

核心思想是:利用 Transformer 作为扩散类生成模型的主要网络,预测如何更新带噪声的图像特征。

区分三个概念:

概念作用
Diffusion / Flow Matching定义生成过程中如何逐步更新数据
Transformer负责学习特征之间的关系
DiT使用 Transformer 作为生成网络的架构

DiT 并不是把 Diffusion 和 Transformer 两个独立模型简单拼接在一起。

以常见的潜在空间图像生成过程为例:

初始噪声
中间状态
生成结果