新闻动态

新闻

数学系张进课题组研究成果被NeurIPS收录为Spotlight论文

        近日,我系张进课题组一项研究成果(论文名:Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond)被机器学习领域顶级会议NeurIPS收录为Spotlight论文。


        NeurIPS(Neural Information Processing Systems,神经信息处理系统大会)于1987年首次召开,每年一届,迄今已有35年的历史,是全球最负盛名的 AI 学术会议,主题包括深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。根据最新公布的谷歌学术指标(Google Scholar Metrics,GSM)榜单,NeurIPS排名第12,h5指数为253。本次NeurIPS大会共收到9122篇论文投稿,论文录取率为26%。其中Spotlight论文录取率小于3%。


        伴随着机器学习领域的快速发展,双层规划被认为是处理复杂机器学习任务的强大理论工具,应用于元学习、小样本学习、超参数优化、神经网络结构搜索、对抗性学习、强化学习等学习任务中。机器学习领域流行的基于梯度的高效双层规划算法,都利用了不同程度的模型简化技术,以满足算法收敛所需假设条件,如下层问题凸性、海森矩阵可逆性等。然而,在面向实际需求的复杂任务建模时,下层问题通常具有非凸结构。


        该论文基于团队相关前期工作ICML 2020 (Paper ID: 1129)与ICML 2021 (Paper ID: 9582),从新的视角来构造逼近框架,设计了Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method (IAPTT-GM),解决下层非凸问题。具体来说,针对下层非凸结构特点,设计梯度下降迭代模块,利用迭代初始点作为额外的控制元(Initialization Auxiliary),构造对下层最优解的逼近;另一方面,从理论分析与降低计算负担两个角度,在外层迭代中引入(Pessimistic Trajectory Truncation)机制,构造对上层目标的有效逼近。在基于元学习的小样本分类任务与超参数优化数据超清洗任务上,论文验证了当下层问题有非凸结构时,IAPTT-GM与现有流行算法相比,具有明显的优势。 


        该论文作者为刘日升、刘耀华、曾尚志、张进,由南方科技大学张进课题组和大连理工大学刘日升课题组合作完成,南科大为唯一通讯单位。