（训练自己的数据集指南）ECCV2024：Nickel and Diming Your GAN：通过知识蒸馏提高GAN效率的双重方法
论文题目：Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation （通过知识蒸馏提高GAN效率的双重方法）
会议：ECCV2024
摘要：在本文中，我们通过提出两种新颖的方法来解决压缩生成对抗网络(gan)以在资源约束环境中部署的挑战:高效压缩的分布匹配(DiME)和通过知识交换和学习的网络交互压缩(NICKEL)。DiME采用基础模型作为嵌入核进行高效的分布匹配，利用最大均值差异进行有效的知识蒸馏。NICKEL采用交互式压缩方法，增强了学生生成器和鉴别器之间的通信，实现了平衡稳定的压缩过程。我们用FFHQ数据集对StyleGAN2架构进行了综合评估，结果表明我们的方法是有效的，在压缩率分别为95.73%和98.92%的情况下，NICKEL和DiME的FID得分分别为10.45和15.93。值得注意的是，我们的方法即使在99.69%的极端压缩率下也能保持生成质量，大大超过了以前最先进的性能。这些发现不仅表明我们的方法能够显著降低GAN的计算需求，而且还为在资源有限的环境中部署高质量的GAN模型铺平了道路。
项目地址：https://github.com/SangyeopYeo/NICKEL_AND_DIME
文末提供了一些可选的权重文件。