文章一作？？？？奈寤笱昙恫┦可，，，研究偏向为深度天生模子，，，，曾提出流式扩散模子最大似然预计刷新手艺 i-DODE，，，，扩散模子高效采样器 DPM-Solver-v3，，，，扩散桥模子采样器 DBIM 以及掩码式离散扩散模子采样器 FHS 等。。。。。。 清华大学朱军教授团队与 NVIDIA Deep Imagination 研究组联合提出一种全新的视觉天生模子优化范式 —— 直接判别优化（DDO）。。。。。。该要领将基于似然的天生模子（如扩散模子、自回归模子）隐式参数化为 GAN，，，，从而设计出一种无需特殊网络、训练高效的微调要领，，，，并大幅突破古板最大似然训练的性能瓶颈。。。。。。 近年来，，，，扩散模子（Diffusion Models）和自回归模子（Autoregressive Models）在图像天生中占有主导职位，，，，如 NVIDIA 的 EDM 系列扩散模子和字节跳动以 VAR 为代表的视觉自回归模子。。。。。。相比 GAN（Generative Adversarial Networks）这类直接优化数据天生历程的隐式天生模子，，，，扩散模子和自回归模子均属于基于似然的天生模子（Likelihood-Based Generative Model），，，，它们显式预计数据的对数似然（log-likelihood），，，，具有训练稳固、样本多样性强、容易规模；；；；；；奶氐 然而，，，，这类模子普遍接纳的最大似然预计（Maximum Likelihood Estimation, MLE）逊ю失对应的是正向 KL 散度，，，，会导致「mode covering」问题：模子倾向于笼罩所有数据模式而非聚焦主要漫衍，，，，并且会在低估数据集中任何样本的似然时遭受严肃处分，，，，从而使天生效果模糊或失真，，，，在模子容量缺乏时限制了天生质量。。。。。。例如，，，，i-DODE 作为专注于似然的模子，，，，虽然在密度预计使命上抵达了最先进水平，，，，但在 FID 等视觉质量指标下体现不佳。。。。。。现有视觉天生模子也往往依赖指导（guidance）要领，，，，如无需分类器的指导（Classifier-Free Guidance, CFG），，，，来抑制低质量天生样本。。。。。。 为解决 MLE 的局限性，，，，文章思量使用GAN 式判别的头脑，，，，在训练目的中引入反向 KL 散度的因素，，，，强化模子在真实数据周围的密度，，，，同时抑制过失区域，，，，将模子漫衍由图（a）：强调密度笼罩，，，，微调为图（b）：强调密度集中，，，，从而提高天生保真度与有限模子容量下的天生质量。。。。。。然而，，，，直接使用 GAN 损失会引入特另外判别器网络与工程优化上的重大性，，，，尤其关于扩散/自回归模子这类需要迭代式多步天生的模子。。。。。。 详细来说，，，，DDO 引入待微调的目的模子和一个冻结的参考模子（均初始化为预训练模子），，，，使用两个模子的对数似然比结构「隐式判别器」，，，，获得可直接应用于扩散模子和自回归模子的 GAN 式优化目的： DDO 为扩散模子和自回归模子提供了即插即用的新训练目的，，，，其微调后的模子和原模子具有完全相同的网络结构和采样方法，，，，而在天生质量上大大增强 更主要的是，，，，DDO无需修改网络结构、不增添推理本钱，，，，且与主流 CFG 等指导要领兼容，，，，可叠加使用进一步提升性能。。。。。。如在视觉自回归模子 VAR 上，，，，微调后的模子通过控制 CFG 的强度，，，，获得的FID-IS 曲线整体显著优于原模子 DDO 参数化的灵感来自于语言模子中的直接偏好优化（DPO, Direct Preference Optimization），，，，但其目的从「成对的偏好对齐」扩展到了「漫衍对齐」，，，，更为通用。。。。。。DDO 虽然没有「奖励」的看法，，，，但其中使用自天生样本作为负例的头脑也与大语言模子中盛行的 RL 算法如 GRPO 具有相似性，，，，这允许模子从过失中反思学习。。。。。。也就是说，，，，GRPO 中负例的作用同样可以诠释为使用 reverse KL 散度抑制 mode covering 趋势从而提升天生质量，，，，这在数学推理等使命中具有主要意义。。。。。。该思绪有望扩展至多模态天生等使命，，，，构建统一的对齐范式