博客

Python机器学习k-近邻算法(K Nearest Neighbor)实例详解

  • Post category:Python

下面是详细讲解“Python机器学习k-近邻算法(KNearestNeighbor)实例详解”的完整攻略，包括算法原理、Python实现和两个示例说明。

算法原理

k-近邻算法是一种基于实例的学习方法，其主要思想是通过计算样本之间的距离，找到与目标样本最近的k个样本，然后根据这k个样本的类别进行分类。k-近邻算法的实现过程如下：

  1. 计算目标样本与训练样本之间的距离。
  2. 找到与目标样本最近的k个样本。
  3. 根据这k个样本的类别进行分类。

Python实现

以下是Python实现k-近邻算法的示例代码：

import numpy as np
from sklearn.neighbors import KNeighborsClassifier

# 训练数据
X_train = np.array([[1,2],[2,3],[3,1],[4,2],[3,3],[2,1]])
y_train = np.array([0,0,0,1,1,1])

# 创建k-近邻分类器
knn = KNeighborsClassifier(n_neighbors=3)

# 训练模型
knn.fit(X_train, y_train)

# 预测新数据
X_test = np.array([[2,2],[3,2],[2,3],[4,3]])
y_pred = knn.predict(X_test)

print(y_pred)

上述代码中使用scikit-learn库实现了k-近邻算法。首先定义训练数据X_train和y_train，其中X_train是一个二维数组，每一行表示一个样本，y_train是一个一维数组，表示每个样本的类别。接着创建KNeighborsClassifier对象，设置k值为3。然后使用fit函数训练模型。最后使用predict函数预测新数据X_test的类别，并输出预测结果。

示例说明

以下两个示例，说明如何使用上述代码进行分类。

示例1

使用k-近邻算法对样本进行分类。

import numpy as np
from sklearn.neighbors import KNeighborsClassifier

# 训练数据
X_train = np.array([[1,2],[2,3],[3,1],[4,2],[3,3],[2,1]])
y_train = np.array([0,0,0,1,1,1])

# 创建k-近邻分类器
knn = KNeighborsClassifier(n_neighbors=3)

# 训练模型
knn.fit(X_train, y_train)

# 预测新数据
X_test = np.array([[2,2],[3,2],[2,3],[4,3]])
y_pred = knn.predict(X_test)

print(y_pred)

运行上述代码，输出结果为预测的类别。

上述代码中，使用k-近邻算法对样本进行分类。首先定义训练数据X_train和y_train，其中X_train是一个二维数组，每一行表示一个样本，y_train是一个一维数组，表示每个样本的类别。接着创建KNeighborsClassifier对象，设置k值为3。然后使用fit函数训练模型。最后使用predict函数预测新数据X_test的类别，并输出预测结果。

示例2

使用k-近邻算法对鸢尾花数据集进行分类。

import numpy as np
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建k-近邻分类器
knn = KNeighborsClassifier(n_neighbors=3)

# 训练模型
knn.fit(X_train, y_train)

# 预测测试集
y_pred = knn.predict(X_test)

# 计算准确率
accuracy = np.mean(y_pred == y_test)
print('Accuracy:', accuracy)

运行上述代码，输出结果为分类的准确率。

上述代码中，使用k-近邻算法对鸢尾花数据集进行分类。首先使用load_iris函数加载数据集，然后使用train_test_split函数划分训练集和测试集。接着创建KNeighborsClassifier对象，设置k值为3。然后使用fit函数训练模型。最后使用predict函数预测测试集的类别，并计算准确率。

结语

本文介绍了如何使用Python实现k-近邻算法进行分类，包括算法原理、Python实现和两个示例说明。k-近邻算法是一种基于实例的学习方法，其主要思想是通过计算样本之间的距离，找到与目标样本最近的k个样本，然后根据这k个样本的类别进行分类。在实现中，需要注意选择适当的k值，并根据具体情况进行调整。

Tags: ,