视频字幕
正则化是深度学习中防止过拟合的核心技术。当模型在训练数据上表现很好,但在测试数据上表现很差时,就发生了过拟合。正则化通过限制模型复杂度,帮助模型学习更具普遍性的特征,从而提高在新数据上的泛化能力。
L1和L2正则化是最常见的正则化方法。L1正则化在损失函数中加入权重绝对值的和,倾向于产生稀疏的权重,即让一些权重变为零。L2正则化加入权重平方的和,倾向于让权重变小但不为零。参数λ控制正则化的强度。
Dropout是一种非常有效的正则化技术。在训练过程中,它随机丢弃一定比例的神经元,通常丢弃率设为0.5。这防止了神经元之间形成过度依赖,迫使网络学习更加鲁棒的特征表示。在测试时,所有神经元都参与计算,但输出会按丢弃率进行缩放。
除了L1、L2和Dropout,还有其他重要的正则化方法。批量归一化通过标准化每批数据来稳定训练过程。提前停止通过监控验证集损失,在开始过拟合时停止训练。数据增强通过旋转、缩放等变换增加训练数据的多样性,提高模型的泛化能力。