视频字幕
在机器学习中，过拟合是一个常见问题。当模型过于复杂时，它会在训练数据上表现很好，但在新数据上表现较差。正则化是解决这个问题的重要技术，它通过在原始损失函数中添加惩罚项来控制模型复杂度。正则化损失函数的一般形式是原始损失加上正则化项，其中λ是正则化参数，R是惩罚函数。
正则化有几种主要策略。L1正则化使用权重的绝对值之和作为惩罚项，它能产生稀疏权重，实现自动特征选择，但在零点不可微。L2正则化使用权重平方和作为惩罚项，实现权重衰减，优化稳定，但权重只是趋近于零。弹性网络结合了L1和L2的优点，通过参数α控制两者的比重。
除了L1和L2正则化，还有其他重要的正则化策略。Dropout在训练时随机丢弃部分神经元，防止过度依赖某些特征。批量归一化标准化每批数据的分布，加速训练并提高稳定性。早停通过监控验证误差，在模型开始过拟合时及时停止训练。数据增强通过对原始数据进行变换来增加训练样本，提高模型的泛化能力。
Focal Loss是解决类别不平衡问题的重要损失函数。传统的交叉熵损失对简单样本和困难样本同等对待，而Focal Loss通过调制因子自动降低简单样本的权重，让模型专注于困难样本的学习。公式中，p_t表示真实类别的预测概率，γ是聚焦参数，通常设为2，α是平衡因子用于处理类别不平衡。这种设计使得模型能更有效地学习少数类和困难样本。
F1-Score是机器学习中重要的评估指标，它是精确率和召回率的调和平均数。精确率衡量预测为正例中真正为正例的比例，召回率衡量实际正例中被正确预测的比例。F1-Score通过调和平均数的方式平衡了精确率和召回率，特别适用于类别不平衡的数据集。它提供了单一指标来综合评估模型性能，取值范围在0到1之间，数值越大表示模型性能越好。
正则化的作用机制可以从偏差-方差权衡的角度理解。随着模型复杂度增加，偏差逐渐减小，但方差会增大。正则化通过控制模型复杂度，在偏差和方差之间找到最优平衡点。正则化参数λ的选择至关重要，λ过小无法有效防止过拟合，λ过大会导致欠拟合。通过调节λ，我们可以找到使总误差最小的最优点，从而提高模型的泛化能力。
L1和L2正则化有着不同的几何特性和效果。L1正则化的约束区域是菱形，容易在坐标轴上找到解，产生稀疏权重，实现自动特征选择。L2正则化的约束区域是圆形，解通常不在坐标轴上，实现权重衰减但不会完全为零。从优化角度看，L1在零点不可微，而L2处处可微，优化更稳定。在实际应用中，当需要特征选择时选择L1，当需要稳定训练时选择L2。
Focal Loss是专门为解决类别不平衡问题设计的损失函数。传统交叉熵损失对所有样本同等对待，导致大量简单样本主导训练过程。Focal Loss通过调制因子动态调整样本权重，当预测概率高时大幅降低损失权重。γ参数控制聚焦程度，γ等于2时，简单样本的权重可降至原来的百分之一。α参数用于平衡正负样本，通常设为0.25。这种设计让模型专注于困难样本的学习。
F1-Score是机器学习中重要的评估指标，特别适用于类别不平衡的数据集。它是精确率和召回率的调和平均数。精确率衡量预测为正例中真正为正例的比例，召回率衡量实际正例中被正确预测的比例。通过混淆矩阵可以直观理解这些概念。F1-Score通过调和平均数平衡了精确率和召回率，避免了单一指标的局限性，为模型性能提供了综合评估。