Scikit-learn机器学习-03.K-近邻算法
发布时间:2021-11-21 10:26:00    阅读次数:90
本系列文章介绍人工智能的基础概念和常用公式。由于协及内容所需的数学知识要求,建议初二以上同学学习。

运行本系统程序,请在电脑安装好Python、matplotlib和scikit-learn库。相关安装方法可自行在百度查找。

K-近邻算法(KNN)是有监督的机器学习算法。它的核心是未标记样本的类别,由距离其最近的K个邻居投票来决定。 假设X_test为待标记的数据样本,X_train为标记的数据集,计算过程如下:
  • >> 遍历X_train中的所有样本,计算每个样本与X_test的距离,并把距离保存在Distance数组中。

  • >> 对Distance数组进行排序,取距离最近的k的点,记为X_knn。

  • >> 在X_knn中统计每个类别的个数,即Class0在X_knn中有几个样本,Class1在X_knn中有几个样本等。

  • >> 待标记样本的类别,就是在X_knn中样本个数最多的那个类别。

  • 算法优缺点

    优点:准确性高,对异常值和噪声有较高的容忍度。

    缺点:计算量较大,对内存需求高。

    算法示例
    以3个三角形为中心,在其周围随机生成60个点。红色叉代表测试样本,红色交叉和五个点距离最近。其中有三个点属于浅蓝色(我认为是浅蓝)。那么这个红色交叉样本就必于浅蓝一类。

    示例程序
    		from sklearn.datasets.samples_generator import make_blobs
    		from sklearn.neighbors import KNeighborsClassifier
    		from matplotlib import pyplot as plt
    		import numpy as np
    		 
    		centers = [ [-2,2],[2,2],[0,4] ]
    		 
    		K = 5
    		 
    		X,Y = make_blobs(n_samples=60,centers=centers,random_state=0,cluster_std=0.6)
    		 
    		clf = KNeighborsClassifier(n_neighbors=K)
    		clf.fit(X,Y)
    		 
    		X_sample = [0,2]
    		XX_sample = np.array([0,2]).reshape(1,-1)
    		Y_sample = clf.predict(XX_sample)
    		neighbors = clf.kneighbors(XX_sample,return_distance=False)
    		 
    		plt.figure(figsize=(16,10),dpi=144)
    		plt.title("KNN")
    		 
    		c = np.array(centers)
    		plt.scatter(X[:,0],X[:,1],c=Y,s=100,cmap='cool')
    		plt.scatter(c[:,0],c[:,1],s=100,marker='^',c='green')  
    		plt.scatter(X_sample[0],X_sample[1],marker='x',s=100,c='red',cmap='cool')
    		 
    		for i in neighbors[0]:
    			plt.plot([X[i][0],X_sample[0]],[X[i][1],X_sample[1]],'k--',linewidth=0.5)
    		 
    		plt.show()
    		

    本系列文章