视频字幕
动量是神经网络训练中的一种重要优化技术。在标准的梯度下降中，参数更新只依赖于当前时刻的梯度。而动量技术通过累积历史梯度信息，让参数更新不仅考虑当前梯度，还会加上之前更新方向的一部分。这就像一个球从山坡上滚下来，即使遇到坡度变缓的地方，也会因为惯性继续向前滚动。
动量算法的数学原理相对简单。标准梯度下降直接用当前梯度更新参数。而动量算法引入了一个动量项v，它是历史梯度的指数移动平均。动量系数β控制历史信息的权重，通常设为0.9。这样，参数更新不仅考虑当前梯度，还会考虑之前的更新方向，使得优化过程更加平滑。
动量具有三个主要优势。首先是加速收敛，当梯度在相同方向时，动量会累积这些梯度，使优化过程更快。其次是减少震荡，在梯度变化频繁的方向，动量起到平滑作用，避免参数来回震荡。最后是帮助逃离局部极值，即使当前梯度为零，动量也能继续推动参数更新。从这个对比图可以看出，使用动量的梯度下降收敛更快更平滑。
在实际应用中，动量系数的选择很重要。最常用的是0.9，适用于大多数情况。在训练后期可以使用0.95提供更强的平滑效果。0.99在某些特殊情况下使用，但可能导致收敛过慢。使用动量时，通常可以使用稍大的学习率，建议从标准学习率的1.2到1.5倍开始尝试。大多数深度学习框架默认使用0.9，可以结合学习率衰减策略使用，并在训练过程中监控损失函数的变化。
动量算法的数学原理相对简单。标准梯度下降直接用当前梯度更新参数。而动量算法引入了一个动量项v，它是历史梯度的指数移动平均。动量系数β控制历史信息的权重，通常设为0.9。这样，参数更新不仅考虑当前梯度，还会考虑之前的更新方向，使得优化过程更加平滑。