主编推荐 | 深度学习中的优化理论：综述

翔天盛世

作者：翔天盛世

发布时间：2021-09-29 12:00

浏览数：823

编后语：神经网络的培训关键根据求得一个优化问题来进行，但这是一个艰难的离散系统优化问题，传统式的优化理论无法立即运用。在神经网络和提升的交叉式行业，一直以来科学研究工作人员累积了大批量的研究和专业知识，但是这种科学研究或过度基础理论而不被绝大多数践行者所掌握，或过度偏工程项目而不被基础理论专家学者所掌握和赏析。文中阐述了神经网络的计算方法和优化理论。对烦扰调参常觉得苦恼的技术人员来讲，文中能够给予一些已经有的基础理论了解以仅供参考，并给予一些思索的方法。对基础理论专家学者来讲，文中试图表述其做为数学题的难题之所属及其当前的基础理论进度，以求吸引住大量学者投身于神经网络优化理论和优化算法科学研究。

1 引言

优化问题一直是神经网络科学研究的关键构成部分。神经网络的独特性，造成其优化问题看起来好像非常简单，但事实上由于非线性函数组成的缘故而越来越比较复杂。开启神经网络的“黑箱子”，其内部构造宛如一个非常庞大的谜宫。假如可以了解他们而且有效的使用他们，大家将得到十分强有力的专用工具。但目前的离散系统优化理论远远地不能表述神经网络练习的具体个人行为。一些实践活动看起来简洁的方式，尽管有有效的实际效果，但没法依靠原有的基础理论远来表述他们的实效性。这篇具体描述将重点关注前馈控制神经网络的迁移学习难题。神经网络的优化问题能够分成三个流程：第一步是保证优化算法可以运作，并能收敛到一个科学合理的解；第二步是使优化算法尽量快地收敛；第三步是保证优化算法收敛到比如全局最少那样的更快的解，即收敛性、收敛速率和全局品质。

2 有监管深度学习优化问题

假定给出个数据信息点，在其中各自意味着样版点的矩阵的特征值与对应的标识空间向量。有监管深度学习每日任务一般是运用的消息来预测分析相对应的。在我们应用一个神经网络来类似到的映射函数时，必须挑选神经网络中的主要参数，促使预测分析輸出最贴近真正輸出。这类贴近水平可以用某类间距度量开展衡量。假定意味着和中间的间距，那麼优化问题就变为找寻最佳主要参数，促使间距涵数最少。在回归问题中，间距度量一般用二次交叉熵来表明，而在二分类难题中，常常挑选。

3 梯度下降法

很多的神经网络优化问题都选用梯度下降法（GD）开展求得。梯度下降法的基础方式是，在其中是步幅(也称之为“学习培训速度”)，是第t次迭代更新的交叉熵的梯度方向。交叉熵的梯度方向选用从网络高层向网络最底层反向传播的形式开展测算，那样一种重启动在附加的假定标准下还可以被觉得是达到一般的意义上的收敛，但也会在一些状况下造成梯度爆炸及其梯度消失的难题。

4 应用神经网络的方法

在沒有先验工作经验的情形下，练习一个神经网络而求获得一个科学合理的精密度是十分艰难的。现如今，大家也从很多的试验中汇总出一些应用神经网络的方法。

4.1 梯度爆炸/梯度消失

梯度爆炸/梯度消失是练习神经网络全过程中最为常见的难题，这类难题会造成收敛速率过度迟缓。在梯度方向的反向传播全过程中，輸出层的偏差将被传到前一层，进而调节权重值以降低偏差。在一系列散播环节中，梯度方向有可能在每一层被变大进而发生爆炸，或是在每一层被变小进而消退。这2种状况一定会造成权重值的升级发生难题。那麼如何解决梯度爆炸/消退难题呢？针对一维优化问题，能够在“山间盆地”內部挑选一个贴近全局极小值的起始点逐渐迭代更新全过程。而针对一般的高维空间难题，一种相近的解决办法也是在“好山间盆地”内挑选一个原始点，那样加能够加速迭代更新速率。这就与原始点的选择问题密切有关。

4.2 原始点的挑选

在起始点的选取区域内，有一大片地区会导致梯度爆炸/消退，这种地区就被称作梯度爆炸/消退地区。那麼如何确定哪儿是梯度爆炸/消退地区，哪儿也是好的范围呢？最先试着一些简洁的起始点，比如全零原始点，或是是仅有一小部分非零权重值的稀少原始点。亦或是从一些随机分布中提取权重值。殊不知这类试着并不具备盈余管理，因此此外一类具备标准的起始点挑选方式获得普遍应用，比如Bouttou和LeCun明确提出的具备特殊标准差的任意复位法，预训练方法及其根据此改善的Xavier复位法，Kaiming复位法，层序企业标准差（LSUV）复位法，根据Kaiming法演化的带一般离散系统激活函数的无尽宽网络法，对于不一样网络类型的动态性定距法及其元复位法。

4.3 规范化方式

第二种处理梯度爆炸/消退的办法是在优化算法全过程中实现规范性。它被觉得是前一种方式的拓展，由于除开改善原始点以外，还需要改善事后迭代更新全过程的网络。一种象征性的办法是批处理命令规范性(BatchNorm)，其目的是对样版中每一层的输入输出开展规范性，将规范性全过程看作一个离散系统转换“BN”，并将BN层加入到初始神经网络中。BN层与激活函数和别的网络层充分发挥同样的功效。BatchNorm方式被证实在理论上具备明显的优势，比如降低了李普希兹参量，提升了学习率等。其缺陷取决于，BatchNorm应用判别分析的平均值和标准差来做为样版整体的平均值与标准差的类似，进而致使练习具备不一样统计量的小批量生产样版时主要表现不佳。因而学者指出了此外一些计量法，如权重值规范化，网络层规范化，案例规范化，群规范化，谱规范化及其能换规范化。

4.4 更改神经系统构架

第三种解决方案是更改神经系统构造。ResNet选用了一个简洁的实用技巧：每过多层网络就提升一个真实身份自动跳转联接。以前的神经网络，每一层能够表述为，在其中是层的权重值，是层的輸出。ResNet的每一层网络则转换为，在其中F意味着初始网络的多层，比如。ResNet早已获得了明显的取得成功。神经系统架构模式是当今深度神经网络科学研究的具体构思之一。

4.5 练习极深神经网络

现阶段有几种办法能够练习十分深的网络(例如超出1000层)，并在图像分类每日任务中获得很好的精确性。

除开这三个方法以外，也有非常多的危害神经网络主要表现的设计方案挑选，比如数据处理方法，优化方法，损失函数，神经系统构造和激活函数等。

5 练习神经网络的常用优化算法5.1 任意梯度下降法与学习培训速度调节

任意梯度下降法（SGD）的原理以下：在第t次迭代更新中，任意挑选一组小批样版的系数开展升级，在其中意味着步幅(学习培训速度)。在非常简单的SGD版本里，步幅是不变的，这类任意梯度下降法也被称作vanilla SGD。在非稳定步幅的情形下，学习培训速度也是有不一样的转换方式。比如，学习培训速度的“加热”在深度神经网络中被普遍应用，其含意是在数次迭代更新中先应用特别小的学习培训速度，随后提升到“基本”学习培训速度。另一种转变是循环系统学习率，基本上观念是妥协长在低限和最大值中间弹跳。

固定不动学习率与下降学习率的非常与剖析一直是SGD的概念解析的关键。基础理论分析表明，神经网络提升具备独特的构造，因而經典优化理论很有可能不适合用以神经网络。梯度下降法的收敛加快难题也是理论基础研究的关键。有关研究证实，SGD相对性于一般梯度下降法的收敛速率有些加速。但这类加快作用也在于很多其它要素。

5.2 抛体运动和加快SGD

推动量的SGD的原理以下：在第五次迭代更新中，任意选择小批样版，并根据下列方法升级抛体运动项和主要参数：。这类方法在深度学习行业获得了普遍的运用，他们在具体运用中的收敛速率比一般的任意梯度方向法要快，并且在解决凸难题或二次难题中也具备理论上的优点。抛体运动SGD的良好主要表现仅适用批处理命令方式 (即每一次迭代更新应用全部样版)。但在具体运用中，这类理论上的优越性也无法达到。有这两种办法能够取得比SGD迅速的收敛速率。最先，根据运用例如标准差减缩这类的方法，更高等级的优化方法来完成抛体运动与SGD这一组成在收敛速率上的基础理论提高。但这种方式有一些繁杂，结合实际并不时兴。第二种方式是根据考虑到情况的大量构造和更简易的SGD组合来完成加快。以上方式仅适用凸难题，因而无法同时可用于非凸的神经网络难题。近期有很多逻辑性新办法的设计方案，使其收敛速率在一般非凸难题上比一般的随即梯度下降法还需要快，但这种方式仍待普遍地运用与检测。

5.3 响应式梯度方向方式

第三类时兴的办法是如 AdaGrad，RMSProp和Adam的响应式梯度下降法。 AdaGrad的表述如下所示:在第五次迭代更新中，任意挑选小批量生产样版并将主要参数升级为：，在其中。AdaGrad的一个缺陷是它对全部以前的梯度方向都一视同仁，因而对以往的梯度方向应用指数值下降权重值。的这一新界定启迪了RMSProp和一个更繁杂的优化算法AdaDelta。AdaGrad响应式梯度方向方式是用于解决稀少和高宽比不平衡的数据信息，也被广泛认为比平常的SGD和推动量的SGD有更快的收敛速率但更差的广泛性。

5.4 规模性分布式计算

神经网络提升的一个关键课题研究是怎样运用几台设备加快练习。这一题材与分布式系统和并行处理息息相关。另有其余的学习培训速度回归分析法与二阶法被明确提出来改善神经网络的培训全过程。

6 神经网络的全局提升

上述情况的办法关键用于求得部分最佳主要参数，但因为深度学习的优化问题具备非凸性，这种方式无法确保求取全局最佳主要参数。现阶段有愈来愈多的科研已经尝试处理全局最佳难题，比如：优化算法啥时候收敛到全局极小值？是不是存有最优部分极小值？提升自然环境有什么特点？如何选择一个原始点来确保收敛到全局极小值？这种难题分归属于下列的分类行业

可解决的难题哪些的情况是可解决的？大家一般觉得非凸难题难以解决，但事实上很多非凸优化问题能够被再次表明为凸难题，因而可解决与不能解决难题的边界并不清楚。创作者猜测一些神经网络难题归属于“易解决的”难题。全局提升致力于设计方案和剖析优化算法，寻找全局最优解。非凸引流矩阵/偏微分溶解这也是与神经网络全局提升最有关的子行业，试着表述为何很多非凸引流矩阵/偏微分难题能够很容易地求得到全局极小值6.1 实证研究探寻

神经网络的高维空间交叉熵组成了一个损害斜面，也被称作提升地貌。Dauphin等人到她们初期的文章中说明，沒有在神经网络的提升地貌上发觉槽糕的部分极小值。在一些二维数据可视化科学研究中，伴随着总宽的提升，提升地貌越来越“更光滑”，而且加上自动跳转联接也会使这一地貌更为光滑。虽然难以准确地作出高维空间表层的表现，但在神经网络行业，大家看到了深层神经网络的一个几何图形特性，即“方式连接度”。Draxler等人与Garipov等单独地发觉2个全局极小值能够根据等价途径联接。另一个与提升地貌息息相关的研究课题是练习更小的神经网络(或称之为“高效率深度神经网络”)。网络剪修方式说明，很多大中型网络能够被剪修以取得更小的网络，而检测精密度只降低非常少。殊不知，在网络剪修历程中，小网络一般务必从具备优良特性的大网络的解中遗产继承重，不然重新开始练习小网络一般会致使特性明显降低。 Frankle和Carbin发觉，在某种情形下，一个好的起始点能够被相对性非常容易地寻找。针对一些数据，工作经验说明，一个大中型网络包括一个中小型子网掩码和一个指定的“半任意”原始点，因而从这一原始点练习中小型网络能够得到类似大中型网络的特性。可练习地子网掩码被称作 “得奖福利彩票”，因为它获得了“复位福利彩票”。福利彩票理论(LTH)强调，那样的获奖福利彩票一直出现的。有关网络剪修和LTH的工作中大部分是事实性的，还须要越来越多的基础理论论述。

提升地貌一直以来也被指出与广泛偏差相关。一个普遍的猜测是一个平且宽的极小值比险峻的很小有更强的广泛性，这一猜测也被相应的实验室认证。也有的人觉得险峻的极小值能够根据再次参数化设计的办法变为平宽的极小值，进而提升广泛性。因而，怎样严苛界定“宽”和“尖”，进而怎样找寻较宽的极小值，变成现阶段主要的课题研究。

6.2 深层神经网络的优化理论

针对超高网络的梯度下降法难题的概念剖析在三类深层次神经网络获得了充分的結果，他们分别是深层线形网络、深层过多参数化设计网络和优化的网络。深层次线形网络线形网络基本上沒有表明工作能力，但在十分放松的标准下，深层次线形网络的每一个部分极小值全是一个全局极小值。深层过参数化设计网络过参数化设计网络是非常典型的离散系统网络。大家广泛认为 “超过必需范畴的主要参数”能够使提升地貌越来越光滑，但这类猜测沒有获得严苛的证实。试验发觉，过多参数化设计不可以清除坏的部分极小值，只有清除不好的“山间盆地”(或虚报的峡谷)。网络的改善难题主要是科学研究原始的神经网络的变动对提升地貌产生的危害。迄今为止，大家依然没法保证任何的神经网络都能取得成功练习，神经网络无效的隐患与网络的构造相关。比如，很多研究表明带ReLU激活函数的网络具备太差的部分极小值。

好的提升地貌促使优化问题自身有着优良的特性，但无法确保蚁群算法也可以有好的結果。针对一般的神经网络而言，对优化算法开展收敛性剖析是非常艰难的。而在线形网络和超高网络这两类关键深层网络中，很多优化算法的收敛性获得了证实。

6.3 浅部网络科学研究

浅部网络的分析主要是聚集在单隐层神经网络的全局地貌剖析，两层神经网络的算法分析及其单隐层神经网络的算法分析中。

汇总

这篇具体描述回顾了现有的与神经网络优化相关的理论成果，尤其关注前馈神经网络的训练问题。目前，我们熟悉理解了初始点的选择对稳定训练的影响，也对过度参数化对优化地形的影响有了相应的理解。而在网络的设计问题上，受到理论研究的启发而产生的算法已经成为非常实用的工具。此外，一些在实验中出现的有趣的现象，例如模式连通性和彩票假说，需要进行更多的理论研究。总体来说，神经网络优化理论有相当大的进步。尽管仍有许多挑战，尽管尚不知道我们是否触及神经网络优化理论的天花板，但就像优化理论发展史所揭示的那样，我们需要的只是时间。

作者简介

孙若愚，UIUC（伊利诺伊大学香槟分校）助理教授，研究数学优化和机器学习。在加入UIUC之前，曾担任Facebook人工智能研究所的访问科学家。他曾于斯坦福大学随INFORMS冯诺依曼奖获得者叶荫宇教授从事博士后研究，博士于美国明尼苏达大学师从加拿大皇家科学院院士、Farkas奖获得者罗智泉教授，本科毕业于北京大学数学科学学院。最近的研究方向包括神经网络的优化理论和算法、生成对抗网络、大规模优化算法、非凸矩阵分解等等。个人网站 https://ruoyus.github.io/