近日，我系张进课题组一项研究成果（论文名：Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond）被机器学习领域顶级会议NeurIPS收录为Spotlight论文。

        NeurIPS（Neural Information Processing Systems，神经信息处理系统大会）于1987年首次召开，每年一届，迄今已有35年的历史，是全球最负盛名的 AI 学术会议，主题包括深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。根据最新公布的谷歌学术指标（Google Scholar Metrics，GSM）榜单，NeurIPS排名第12，h5指数为253。本次NeurIPS大会共收到9122篇论文投稿，论文录取率为26%。其中Spotlight论文录取率小于3%。

        伴随着机器学习领域的快速发展，双层规划被认为是处理复杂机器学习任务的强大理论工具，应用于元学习、小样本学习、超参数优化、神经网络结构搜索、对抗性学习、强化学习等学习任务中。机器学习领域流行的基于梯度的高效双层规划算法，都利用了不同程度的模型简化技术，以满足算法收敛所需假设条件，如下层问题凸性、海森矩阵可逆性等。然而，在面向实际需求的复杂任务建模时，下层问题通常具有非凸结构。

        该论文基于团队相关前期工作ICML 2020 (Paper ID: 1129)与ICML 2021 (Paper ID: 9582)，从新的视角来构造逼近框架，设计了Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method (IAPTT-GM)，解决下层非凸问题。具体来说，针对下层非凸结构特点，设计梯度下降迭代模块，利用迭代初始点作为额外的控制元（Initialization Auxiliary），构造对下层最优解的逼近；另一方面，从理论分析与降低计算负担两个角度，在外层迭代中引入（Pessimistic Trajectory Truncation）机制，构造对上层目标的有效逼近。在基于元学习的小样本分类任务与超参数优化数据超清洗任务上，论文验证了当下层问题有非凸结构时，IAPTT-GM与现有流行算法相比，具有明显的优势。 

        该论文作者为刘日升、刘耀华、曾尚志、张进，由南方科技大学张进课题组和大连理工大学刘日升课题组合作完成，南科大为唯一通讯单位。