Meta 团队最近推出了一种新方法，名为离散流匹配（DFM，Discrete Flow Matching），用来提升 AI 生成内容（AIGC）的速度和质量。这次的创新主要有三大亮点：
- ** 离散状态空间流处理 **：DFM 在离散状态空间中进行流处理，避免了将离散数据转换成连续空间时可能导致的信息丢失和生成质量下降的问题。
- ** 高效生成 **：通过使用学习的后验（例如概率去噪器和噪声预测器），DFM 能够高效且准确地生成新的文本样本，确保生成的离散数据质量更高。
- ** 非自回归生成 **：采用非自回归的生成方式，可以并行生成音频片段，提高了生成速度并保持了高质量。
相比之下，传统方法在处理离散数据时存在以下问题：
- 逐个生成数据点，速度慢且难以并行化，处理大规模数据时效率低。
- 需要将离散数据嵌入连续空间，这一过程容易导致信息丢失，从而影响生成数据的质量。
DFM 通过概率路径插值和非自回归生成方式，克服了这些传统方法的缺陷，提升了 AIGC 的速度和质量。
在数据处理和生成建模中，数据可以分为两类：连续数据和离散数据。传统的生成模型，比如扩散模型，在处理连续数据时效果不错，但在处理离散数据时表现不佳。扩散模型依赖于对数据进行噪声添加和去噪的过程，而这个过程并不适用于离散数据。
DFM 带来了一个概率路径插值方法，通过定义条件概率路径，让模型能够在离散数据的空间中进行有效的插值。这不仅让模型的训练效率更高，还提高了模型在离散数据上的泛化能力。
DFM 提出了一个通用的采样公式，使得模型可以在不同的概率路径上进行采样。这一公式的引入让模型在处理不同类型的数据时更加灵活和高效。借助这个公式，DFM 能够在不依赖特定数据分布的情况下，生成样本。
传统的生成模型，如自回归模型，需要逐步生成每一个数据点，计算量大且效率低。DFM 则采用了一种非自回归的生成方式，可以一次性生成整个数据序列，提高了生成速度和效率。特别是在处理长序列数据时，DFM 的表现尤为出色。
结合最新的研究成果，如潜在一致性模型（LCM）和扩散强制（DF），这些技术提高了生成效率，并在多种应用场景中展示了性能。例如，LCM 通过单步求解常微分方程，实现了图像生成，而 DF 则将全序列扩散模型与下一 token 预测模型的优势结合起来，提供了生成结果。