视频字幕
K近邻算法是机器学习中最简单直观的算法之一。它的核心思想是：相似的样本往往具有相同的类别。当我们需要对一个新样本进行分类时，算法会找到与它最相似的K个已知样本，然后根据这些邻居的类别来决定新样本的类别。
KNN算法的工作过程可以分为四个步骤。首先计算新样本与训练集中所有样本的距离，常用欧氏距离。然后选择距离最近的K个邻居。接着统计这K个邻居中各个类别的出现次数。最后将新样本分类到出现次数最多的类别中。图中黄色圆圈表示K等于3时选中的邻居范围。
K值的选择是KNN算法中最关键的参数。当K等于1时，算法只考虑最近的一个邻居，容易受到噪声数据的影响，可能导致过拟合。当K值适中比如3时，能够平衡准确性和稳定性。当K值较大比如7时，决策边界会更加平滑，但可能导致欠拟合。实践中通常选择奇数作为K值，以避免投票时出现平票的情况。
KNN算法中距离度量的选择非常重要。最常用的是欧氏距离，计算两点间的直线距离。曼哈顿距离计算的是沿坐标轴的距离之和，适用于网格状的数据。闵可夫斯基距离是前两者的推广形式。不同的距离度量会影响邻居的选择，进而影响分类结果。选择合适的距离度量需要根据数据的特性来决定。
总结KNN算法的特点。优点包括：算法思想简单直观，容易理解和实现；属于懒惰学习算法，无需复杂的训练过程；对数据分布没有特殊假设，适应性强；既可以用于分类任务也可以用于回归任务。缺点包括：计算复杂度较高，在大数据集上预测速度慢；对特征的尺度比较敏感，通常需要进行数据标准化；容易受到噪声数据的影响；在高维数据中会遇到维数灾难问题，性能下降。