DiT 全称 Diffusion Transformer,中文通常称为扩散 Transformer。
核心思想是:利用 Transformer 作为扩散类生成模型的主要网络,预测如何更新带噪声的图像特征。
区分三个概念:
| 概念 | 作用 |
|---|---|
| Diffusion / Flow Matching | 定义生成过程中如何逐步更新数据 |
| Transformer | 负责学习特征之间的关系 |
| DiT | 使用 Transformer 作为生成网络的架构 |
DiT 并不是把 Diffusion 和 Transformer 两个独立模型简单拼接在一起。
以常见的潜在空间图像生成过程为例:
初始噪声
中间状态
生成结果