增强扩散模型性能:麻省理工学院新的 STF AI 研究减少了去噪分数匹配的方差

麻省理工学院的一项新人工智能研究减少了去噪分数匹配的方差,提高了扩散模型的图像质量、稳定性和训练速度

最近的扩散模型已经为各种生成任务产生了出色的结果,包括创建图像、分子构象和 3D 点云。 Ito 随机方程 (SDE) 可用于整合这些模型。 分数匹配允许模型获取有关时间相关分数字段的信息,然后在生成采样期间由反向 SDE 使用。 扩散模型包括方差保持 SDE (VP) 和方差爆炸 SDE (VE)。 EDM 是迄今为止最好的性能。 尽管有出色的实证结果,但可以改进当前的扩散模型训练方法。

稳定目标场目标 (STF) 是降噪分数匹配目标的变体。 去噪分数匹配 (DSM) 目标的训练目标的高波动性可能导致性能不佳。 为了更好地理解波动性,他们将分数场分为三个区域。 据调查,这种现象主要发生在中间制度。 这是由对分数具有相似影响的不同模式或数据点定义的。 换句话说,在这种情况下,仍然不知道在整个前向过程中产生的噪声样本来自何处。 图 1(a) 说明了 DSM 目标与 STF 提出的 STF 目标之间的差异。

图 1:DSM 目标与我们建议的 STF 目标之间的比较。

来源和详细信息:

A New AI Research From MIT Reduces Variance in Denoising Score-Matching, Improving Image Quality, Stability, and Training Speed in Diffusion Models

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注