视频字幕
最小二乘法是统计学中寻找最佳拟合直线的重要方法。它的核心思想是通过最小化残差平方和来确定最优的回归参数。残差是观测值与预测值之间的差异，我们的目标是找到一条直线，使得所有数据点到这条直线的垂直距离的平方和最小。让我们通过动画来观察不同直线的拟合效果。
现在我们建立线性回归的数学模型。从简单的一元线性方程y等于ax加b开始，我们将其扩展为包含随机误差的统计模型。然后将多个观测值组织成矩阵形式，得到Y等于X乘以β加上ε的向量表达式。这里X是设计矩阵，第一列全为1表示截距项，第二列是自变量值。β是参数向量，包含截距和斜率。这种矩阵表示法使得计算更加简洁高效。
现在我们将最小二乘的目标函数用向量形式表达。首先定义残差向量e等于Y减去X乘以β。传统的目标函数是残差平方和，即所有残差的平方之和。用向量表示，这等价于残差向量的二范数的平方，也就是残差向量与自身的内积。展开后得到Y减X乘β的转置乘以Y减X乘β。这种向量表达方式不仅形式简洁，而且便于进行矩阵运算，特别是在多元回归中优势更加明显。
现在我们推导最小二乘法的正规方程。从目标函数S等于Y减X乘β的转置乘以Y减X乘β开始，展开这个二次型得到三项的和。利用矩阵微分法则，对β求偏导数。第一项Y转置Y不含β，导数为零。第二项的导数是负2倍X转置Y。第三项是二次型，导数是2倍X转置X乘β。令梯度等于零，得到正规方程X转置X乘β等于X转置Y。从几何角度看，梯度为零的点对应目标函数的最小值，这正是我们要寻找的最优解。
从正规方程我们可以直接得到最小二乘法的最优解。通过对正规方程两边同时左乘X转置X的逆矩阵，得到β的估计值等于X转置X的逆乘以X转置Y。这个公式要求X转置X可逆，也就是说X的列向量必须线性无关，通常要求样本数大于参数个数。让我们通过一个具体的数值例子来演示整个计算过程。首先计算X转置X，然后求其逆矩阵，接着计算X转置Y，最后得到参数估计值。这个向量表达式不仅形式简洁，而且便于程序实现和理论分析。