中国科学技术大学九韶团队研究了模式崩溃发生的根本机理，基于理论分析提出了一种新的方法来定量检测和解决生成对抗网络（GANs）中的模式崩溃问题。该成果以“DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering”为题发表在国际顶级学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence。

图1：什么是模式崩溃现象。

（注：图截取自文献：Goodfellow, Ian. NIPS 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:1701.00160 (2016).）

生成对抗网络（GAN）是广泛使用的生成模型，通过学习真实样本的分布用于合成复杂逼真的数据。然而，模式崩溃（mode collapse）是生成对抗网络面临的一个重要挑战，即生成样本的多样性明显低于真实样本的多样性，这对进一步应用造成了困扰。由于生成对抗网络及其训练过程的复杂性，涉及多种可能的因素和环节，一直无法明确究竟是何种机理导致模式崩溃的发生。

图2：模式崩溃发生的根本机理。

经过深入研究，研究团队发现了生成对抗网络产生模式崩溃的根本机理。理论分析表明，当真实数据存在多个模式时，生成器损失函数关于其参数是非凸的。具体地，导致生成分布仅覆盖真实分布的部分模式的参数，是生成器损失函数的局部极小点。

图3：解决模式崩溃的新方法。

为了解决模式崩溃问题，我们提出了一个统一的框架，称为动态生成对抗网络（Dynamic GAN, DynGAN）。该方法通过对可观察的判别器输出设置相应阈值，检测出生成器无法生成的样本（崩溃样本），根据这些崩溃样本划分训练集，然后在这些划分上训练动态条件的生成模型。

图4：DynGAN在合成数据集上的表现。

图5：DynGAN在现实世界数据集上的效果。

研究结果理论确保了所提新方法DynGAN的渐进式模式覆盖。合成数据集和现实世界数据集的实验表明，DynGAN在克服模式崩溃方面超过了现有GAN及其变体。该研究工作不仅推进了生成对抗网络的理论研究，也为完善生成模型的模式覆盖提供了重要的实现手段。

中国科学技术大学罗翌新博士、杨周旺教授分别是该工作的第一作者和通讯作者。本项研究获得了国家自然科学基金委重大研究计划、科技部国家重点研究计划“数学和应用研究”重点专项、中国科学院战略性先导科技专项、安徽省重大科技攻关专项等基金项目的支持。

论文链接：https://doi.org/10.1109/TPAMI.2024.3367532