视频字幕
K近邻算法是机器学习中最简单直观的算法之一。它的核心思想就像俗语说的物以类聚人以群分。当我们要预测一个新数据点的类别时，算法会找到距离它最近的K个邻居，然后根据这些邻居的类别来决定新点的类别。
KNN算法的工作步骤非常直观。首先，计算新数据点到所有训练样本的距离。然后按距离从小到大排序，选择前K个最近的邻居。最后，根据这K个邻居的类别进行投票，多数类别就是预测结果。图中绿色圆圈表示K等于3时的邻域范围。
KNN算法中距离计算是关键步骤。最常用的是欧几里得距离，就是两点间的直线距离。曼哈顿距离则像在城市街道中行走，只能沿着坐标轴方向移动。还有更一般的闵可夫斯基距离，通过参数p可以调节。不同的距离度量会影响算法的分类效果。
K值的选择对算法性能有重要影响。K等于1时，算法只看最近的一个邻居，容易受到噪声影响，可能导致过拟合。K值太大时，算法会考虑太多远距离的点，可能导致欠拟合。通常选择奇数可以避免投票平票的情况。实际应用中常用交叉验证来选择最优的K值。
KNN算法有明显的优缺点。优点包括算法简单直观、无需训练过程、适用于多分类问题。但缺点也很明显，计算量大导致预测速度慢，对特征缩放敏感，容易受噪声影响。尽管如此，KNN在推荐系统、文本分类、图像识别等领域仍有广泛应用，是机器学习入门的经典算法。
KNN算法的工作步骤非常直观。首先，计算新数据点到所有训练样本的距离。然后按距离从小到大排序，选择前K个最近的邻居。最后，根据这K个邻居的类别进行投票，多数类别就是预测结果。图中绿色圆圈表示K等于3时的邻域范围。
KNN算法中距离计算是关键步骤。最常用的是欧几里得距离，就是两点间的直线距离。曼哈顿距离则像在城市街道中行走，只能沿着坐标轴方向移动。还有更一般的闵可夫斯基距离，通过参数p可以调节。不同的距离度量会影响算法的分类效果。
K值的选择对算法性能有重要影响。K等于1时，算法只看最近的一个邻居，容易受到噪声影响，可能导致过拟合。K值太大时，算法会考虑太多远距离的点，可能导致欠拟合。通常选择奇数可以避免投票平票的情况。实际应用中常用交叉验证来选择最优的K值。
KNN算法有明显的优缺点。优点包括算法简单直观、无需训练过程、适用于多分类问题。但缺点也很明显，计算量大导致预测速度慢，对特征缩放敏感，容易受噪声影响。尽管如此，KNN在推荐系统、文本分类、图像识别等领域仍有广泛应用，是机器学习入门的经典算法。