扩散语言模型
一种全新的文本生成范式，从噪音中创造有序。本报告将带您交互式地探索其核心思想、工作原理与独特优势。
↓ 向下滚动开始探索 ↓
核心对比：两种生成范式
扩散模型属于非自回归模型，其生成方式与我们熟悉的GPT等自回归模型有着根本性的不同。理解它们的差异是探索扩散模型的第一步。
自回归模型 (Autoregressive)
➡️
像一个作家，逐字逐句地写作。严格按照从左到右的顺序，一个接一个地生成Token。
- ✓逻辑连贯性强，生成质量高。
- ✗生成速度慢，无法并行处理。
- ✗一旦犯错，难以回头修正。
非自回归模型 (Non-Autoregressive)
🎨
像一个画家，先勾勒轮廓再填充细节。并行地生成所有Token，并逐步优化。
- ✓生成速度极快，可并行化。
- ✓能够自我纠正，迭代优化。
- ✗早期模型质量控制较难。
工作原理：从噪音到文本
扩散模型借鉴了物理学中的扩散过程，通过“加噪”和“去噪”两个阶段来生成文本。这是一个将无序变为有序的神奇过程。
交互式扩散过程
点击按钮，观察文本如何在“加噪”和“去噪”之间转换。
关键权衡：速度 vs 质量
扩散模型的性能并非一成不变。我们可以通过调整“去噪步数”在生成速度和文本质量之间做出权衡。更多的步数意味着更精细的打磨，但耗时也更长。
更快
10 步
更高质量
采样模拟器
亲身体验扩散模型的生成过程！在下面的文本框中输入一个带有 [MASK] 的句子，然后点击“开始生成”，观察模型如何迭代地填充空白并进行自我纠正。
The capital of [MASK] is [MASK].
提示: 您可以直接编辑文本，或点击 [MASK] 按钮添加更多掩码。
生成过程:
关键优化策略
为了提高效率和质量，研究人员提出了多种优化策略，使扩散模型在实际应用中更具竞争力。
块扩散 (Block Diffusion)
将长序列分成小块，逐块生成。这极大地提高了处理长文本的效率，并且对缓存友好，是提速的关键技术。
掩码调度 (Masking Schedules)
动态调整每一步去掩码的Token数量。在生成初期（噪音多）少去一些，后期（上下文清晰）多去一些，以平衡速度与质量。
作为草稿模型 (Draft Model)
在“推测解码”中，利用扩散模型快速生成一个草稿，再由一个更强的模型进行验证，从而为传统自回归模型提速。
优势与挑战
扩散模型展现了巨大的潜力，但作为一项新兴技术，它也面临着自身的挑战。
独特优势
- ⚡️ 极高速度: 并行生成机制使其推理速度远超自回归模型。
- 🔄 自我纠正: 能够在生成过程中迭代优化，修正早期错误。
- 🎛️ 可控性强: 允许更灵活的提示方式和通过外部模型引导生成。
- ↔️ 双向上下文: 同时利用前后文信息，理解更全面。
当前挑战
- ⚖️ 速度与质量的权衡: 追求极致速度可能牺牲部分质量，反之亦然。
- ⏳ 发展时间尚短: 相比自回归模型，其研究和优化历史较短，潜力尚未完全发掘。