K最近邻（K-Nearest Neighbors，KNN）是一种简单而强大的机器学习算法，它基于一个基本的假设：相似的样本通常在特征空间中彼此接近。KNN算法通过查找一个样本的最近K个邻居来预测该样本的类别或属性。
KNN没有显式的训练阶段，它只需要存储训练数据集。因此，在数据集规模和特征数量相同的条件下，KNN建模训练的速度要比其他模型快很多，基本数据集读完就等于完成了模型的训练。
KNN算法使用距离度量来确定数据点之间的相似性。最常见的距离度量是欧几里得距离，也可以使用曼哈顿距离、切比雪夫距离或余弦相似度等。
K是一个超参数，表示在进行决策时考虑的最近邻居的数量。K的选择对模型的性能有很大影响，一般我们会根据任务指标去确定最佳的K，使用网格搜索之类的方法进行调参即可。
对于分类任务，KNN算法会根据K个最近邻居的类别，通过多数投票法来预测新样本的类别。对于回归任务，KNN算法会计算K个最近邻居的目标值的平均值，作为新样本的目标值。
KNN的预测过程中，对于每一个新样本，都会依次计算该样本与训练集中每一条样本的距离，从而选出最邻近K个样本。显然，当训练集数据量较大的时候，这种预测方式将会很慢。为了提高预测时的效率，可以构建索引，如KD树或球树，这些数据结构可以加速最近邻居的搜索过程（主流的第三方库已经内置实现方式了，只需要调整参数选择合适的优化算法即可）。
KD树是一种用于组织点在K维空间中的数据结构，它类似于二叉搜索树，但用于多维空间。KD树通过递归地将数据集分割成两个子集来构建树结构。KD树适用于低维数据（通常小于20维），在这些情况下，它可以非常有效地进行最近邻搜索。
（1）构建过程
- 在每个维度上选择一个轴，并选择该维度上的中位数作为分割点。
- 将数据点分为两部分：一部分在分割点的一侧，另一部分在另一侧。
- 递归地在每个子集上重复这个过程，每次选择不同的维度。
（2）搜索过程
- 从根节点开始，根据数据点的值沿着树向下搜索。
- 在每个节点，选择与查询点在当前维度上值更接近的子树。
球树是一种用于组织数据点的层次聚类数据结构，它将数据点聚类成一系列嵌套的超球体（几何学概念，指高维空间中半径固定的所有点的集合）。球树适用于高维数据，因为它可以更好地处理维度灾难（随着维度增加，数据点之间的距离变得不那么重要）。
（1）构建过程
- 选择一个数据点作为中心，创建一个包含所有点的超球体。
- 将数据点分为两个子集，每个子集由一个子球体表示，这些子球体与父球体相交。
- 递归地在每个子集上重复这个过程，每次都选择新的中心和创建新的超球体。
（2）搜索过程
- 从根节点开始，检查查询点是否在当前球体内部。
- 如果是，继续在子球体中搜索；如果不是，跳过当前分支。
在一些时间紧急的业务场景中，需要算法模型交付但是不要求高指标（比如项目的开发联调阶段），KNN模型也是一个不错的选择。只需要对数据进行归一化（当各个特征的尺度/范围差异较大时）即可直接训练一个KNN模型，甚至不需要在建模之前进行特征工程（毕竟它的核心是距离度量）。
（1）简单易懂：KNN算法的原理和实现都非常简单。
（2）无需训练：不需要复杂的训练过程。
（3）可用于非线性问题：KNN可以很好地处理非线性问题。
（4）可用于多分类问题：KNN可以处理多分类问题。
（1）推理成本高：在预测时需要计算新样本与所有训练样本之间的距离，这在大数据集上非常耗时。
（2）存储成本高：需要存储整个训练数据集。
（3）对异常值敏感：KNN对异常值和噪声数据非常敏感。
（4）需要选择合适的K值：K值的选择对模型性能有很大影响，且没有统一的标准。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
如需转载请保留出处：https://bianchenghao.cn/bian-cheng-ri-ji/57351.html