视频字幕
正则化是机器学习中的一项关键技术，用于解决模型过拟合问题。当模型过于复杂时，它可能在训练数据上表现很好，但在新数据上表现很差。正则化通过在损失函数中添加惩罚项来限制模型复杂度，帮助找到训练误差和测试误差之间的最佳平衡点。
正则化的数学原理是在原始损失函数基础上添加一个惩罚项。原始损失函数衡量模型预测与真实值的差异，而惩罚项则对模型参数的大小进行约束。正则化参数λ控制惩罚的强度，λ越大，对参数的约束越强。通过这种方式，正则化使得损失函数的最小值点发生改变，从而限制模型复杂度。
L1和L2是两种最常见的正则化方法。L1正则化使用参数绝对值的和作为惩罚项，它倾向于产生稀疏模型，即许多参数会变为零，这相当于进行了特征选择。L2正则化使用参数平方和作为惩罚项，它会使参数值变小但通常不为零。从几何角度看，L1约束形成菱形区域，L2约束形成圆形区域，它们与目标函数等高线的交点就是最优解。
正则化参数λ的选择至关重要。λ过小时，正则化效果不足，模型仍可能过拟合；λ过大时，会过度约束模型，导致欠拟合。我们需要找到一个平衡点，使得验证误差最小。交叉验证是选择最优λ的标准方法，通过在不同λ值下评估模型性能，找到使验证误差最小的λ值。
正则化在机器学习中有广泛应用，包括线性回归中的Ridge和Lasso回归、逻辑回归、神经网络的权重衰减，以及支持向量机等。正则化的核心作用是防止过拟合、提高模型泛化能力和控制模型复杂度。通过比较可以看出，使用正则化的模型在训练集和测试集上的性能差距更小，说明模型具有更好的泛化能力。正则化是现代机器学习中不可或缺的重要技术。