视频字幕
KNN算法是机器学习中最简单直观的算法之一。它的核心思想是：要预测一个新样本的类别，就看它周围最近的K个邻居属于什么类别，然后用多数投票的方式来决定新样本的类别。这个算法不需要训练过程，所有计算都在预测时进行。
KNN算法的执行流程包括四个关键步骤。首先选择K值，这里我们选择K等于3。然后计算新样本到所有训练样本的距离，通常使用欧氏距离。接下来找出距离最近的K个邻居，最后根据这些邻居的类别进行投票决定新样本的分类。
在KNN算法中，距离计算是关键步骤。最常用的是欧氏距离，它是两点间的直线距离。另一种常用的是曼哈顿距离，也叫城市街区距离，计算的是沿坐标轴方向的距离之和。不同的距离度量会影响算法的性能，需要根据具体问题选择合适的距离函数。
K值的选择对KNN算法的性能有重要影响。当K等于1时，算法只考虑最近的一个邻居，容易受到噪声影响，可能导致过拟合。当K值过大时，会包含太多远距离的点，可能导致欠拟合。实际应用中，通常选择较小的奇数作为K值，比如3或5，这样可以避免投票时出现平票的情况。
KNN算法因其简单直观的特点，在许多领域都有广泛应用。在图像识别中，可以根据像素特征对图像进行分类。在文本分类和推荐系统中，通过计算文档或用户的相似度来进行推荐。在医疗诊断中，可以根据症状特征来辅助诊断。KNN算法的优点是简单易懂，不需要训练过程，但缺点是计算量较大，且对噪声比较敏感。