视频字幕
K近邻算法是机器学习中最简单直观的算法之一。它的核心思想是物以类聚，即相似的样本往往属于同一类别。当我们要预测一个新样本的类别时，我们找到与它最相近的K个已知样本，然后根据这些邻居的类别来决定新样本的类别。
KNN算法的核心是计算距离和选择合适的K值。距离计算通常使用欧氏距离公式，即两点间的直线距离。K值的选择非常关键：K等于1时算法对噪声很敏感，容易过拟合；K值过大时可能会忽略局部特征导致欠拟合。图中黄色圆圈表示K等于3时的邻域范围。
现在我们来看KNN分类的具体过程。首先计算新样本到所有训练样本的距离，然后选择距离最近的K个邻居。在这个例子中，当K等于3时，最近的3个邻居中有2个是红色，1个是蓝色。根据多数投票原则，新样本被分类为红色类别。这就是KNN算法的核心分类机制。
KNN不仅可以用于分类，还可以用于回归问题。在回归中，预测值是K个最近邻居的平均值。KNN算法会形成复杂的非线性决策边界，这条黑色曲线就是分类的决策边界。K值的选择会影响边界的复杂程度：K值小时边界复杂，K值大时边界平滑。KNN广泛应用于推荐系统、图像识别和文本分类等领域。
总结一下KNN算法的特点。优点包括算法简单易懂、无需训练过程、对异常值不敏感等。缺点主要是计算量大、对特征尺度敏感、在高维数据中性能下降等。图中展示了K值与模型性能的关系：K值过小容易过拟合，K值过大容易欠拟合，需要通过交叉验证找到最优的K值。KNN是机器学习入门的经典算法，理解它有助于掌握机器学习的基本思想。