Abstract
优化在应用数学中具有关键作用,它同时也是工程与信息领域的重要科学基础。优化理论的发展已有数百年历史,期间涌现出诸如梯度下降、改进型梯度下降、牛顿迭代以及增强型拟牛顿方法等经典算法。尽管这些算法各有优点,但也存在局限性:梯度下降稳定却往往收敛缓慢,而牛顿迭代虽然收敛速度快,却容易发散,其改进版本也存在类似问题。本报告提出了一种新的优化算法,它兼具快速收敛与稳定性,其核心思想源于最优控制原理(OCP)。该算法将迭代过程中的更新步长视为控制输入,通过设计该输入以最小化未来时刻的目标函数与控制能量之和。最小化目标函数确保最快的收敛,而最小化控制能量则保证算法的稳定性。借助泰勒展开进行线性化处理,该算法进一步被转化为迭代形式,从而避免了求解非线性前向-后向差分方程的复杂性。严格的理论分析表明,该算法能够实现类似牛顿迭代的超线性收敛,同时兼具梯度下降的稳定特性。此外,该算法还能涵盖梯度下降、牛顿迭代、改进的加速梯度下降以及正则化牛顿方法,从而首次为梯度下降与牛顿迭代的科学合理性提供了统一的理论基础。报告最后介绍OCP在智能车轨迹跟踪、三维图像恢复、电力系统潮流计算、大规模深度学习等领域的成功应用。