近日，华东理工大学信息科学与工程学院计算机科学与工程系陈志华教授团队在数据集蒸馏领域取得新进展。该研究引入自适应因子与扩展极小极大损失，并结合二次蒸馏，提出了基于无约束噪声生成模型的数据集蒸馏算法。相关成果正式发表在人工智能领域国际顶级学术期刊《IEEE模式分析与机器智能汇刊》。
图片说明：基于无约束噪声生成模型的数据集蒸馏算法流程图
数据集蒸馏通过将原始数据集压缩为更小的数据集，使模型在小规模数据上训练后，在测试集上仍能达到接近在原数据集训练的性能，从而实现训练加速与存储节省。现有基于生成模型的算法无法保证生成代表性样本且未利用各生成图像间的关系。针对这一关键问题，该研究提出无约束噪声生成模型的数据集蒸馏算法，并在多个数据集上进行实验验证。
该研究在蒸馏阶段，提出自适应因子以及扩展极小极大损失；在部署阶段，通过二次蒸馏技术，分别对大小分辨率数据集采用在线蒸馏和离线蒸馏策略，并适配在生成对抗网络和扩散模型两种生成范式中，提高蒸馏图像分布的稳定性。在理论上证明所提出的算法能产生更低的泛化误差。研究表明，生成图像可作为数据集蒸馏的有效代理数据集。
该研究将为基于生成模型进行数据集蒸馏提供新的思路，为推动绿色人工智能与实现低功耗模型训练具有重要研究意义。
该论文由华东理工大学陈志华教授（通讯作者）与戴蕾讲师，联合上海交通大学盛斌教授（共同通讯作者）共同指导完成，第一作者为华东理工大学博士生张景轩，华东理工大学为本文第一署名单位,此外，电子科技大学叶飞教授、香港理工大学李平助理教授、上海交通大学杨小康教授为研究提供了帮助与指导。研究获得了国家自然科学基金委员会和工业控制技术全国重点实验室的资助。
论文链接：https://doi.org/10.1109/TPAMI.2026.3690778
