Scikit-learn机器学习-07.朴素贝叶斯算法
发布时间:2021-11-27 12:06:00    阅读次数:100
本系列文章介绍人工智能的基础概念和常用公式。由于协及内容所需的数学知识要求,建议初二以上同学学习。

运行本系统程序,请在电脑安装好Python、matplotlib和scikit-learn库。相关安装方法可自行在百度查找。

朴素贝叶斯算法(Naive Bayers)是一种基于概率的分类方法。它在条件独立假设的基础上,使用贝叶斯定理构建算法。
我们先来看一个案例。用一个假冒的呼气测试仪来测试司机是否醉驾。假设这个仪器有5%的概率会把一个正常的司机判断为醉驾,但对真正醉驾的司机测试则是100%准确。从过往的统计得知,大概有0.1%的司机为醉驾。现在问题是,假设用这仪器随机检测一名司机是醉驾的概率有多高?
假设我们过往的记录里有1000个检测司机,里面有1个是醉驾(0.1%)。其余999个是正常的。仪器有5%的误判,即999×5%+1个司机被定为醉驾。由此可得被判断为醉驾的概率是1/(999×0.5+1)=1.96%。
由此我们可以推导出一条公式:
举例说明
A为司机真的醉驾,B为仪器显示司机为醉驾。例子要求的就是P(A|B)。即当仪器检测到司机是醉驾,而司机也是真醉驾的概率是多少。P(A|B)也叫联合概率。

P(A)表示司机真正醉驾的概率,也叫先验概率。即0.1%。
P(B)表示仪器显示司机醉驾的概率。这里包括两方面数据。一个是司机真醉驾的0.1%。另一个是没醉驾被误检的(1-0.1%)×5%。所以

P(B)=0.1%+(1-0.1%)×5%

P(B|A)表示当司机真的醉驾时,仪器检测的概率。即100%。
把数值代入公式:(0.1%×100%) / (0.1%+(1-0.1%)×5%)=1.96%
以上就是贝叶斯定理。
那什么叫朴素呢?
在这里,朴素的含义是指条件独立假设,即事件之间没有关系,互相独立的。朴素贝叶斯定理前提就是输入特征需要满足条件独立假设,即两个事件的发生不能有相互关系。它是在贝叶斯算法基础上的简化。
再举例说明
有两份报纸,人民日报和浙江日报,其中每张报纸出现“商业”和“股票”的概率如下:

  • P(S|RM)人民日报有“商业”的可能性:0.7
  • P(M|RM)人民日报有“股票”的可能性:0.2
  • P(S|ZJ)浙江日报有“商业”的可能性:0.1
  • P(M|ZJ)浙江日报有“股票”的可能性:0.1

现在假设阅读两份报纸的人是一样多的即P(RM)=0.5,P(ZJ)=0.5。

那么这里的y代表类变量,例子中报纸的名称,xn代表特征向量,例子中的词语。假定每个特征向量相互独立,我们要计算浙江日报中有“商业”和“股票”的可能性。

P(ZJ | S,M)=(P(ZJ)* P(S | ZJ)* P(M | ZJ))/ P(S,M)

除了P(S,M)其他变量都是已知的。

P(S,M)=(p(ZJ)* P(S | ZJ)* P(M | ZJ))+(P(RM)* P(S | RM)* P(M | RM))

将他们替换成概率进行计算,结果是

P(RM| S,M)=0.933,P(ZJ|S,M)=0.067。

P(S,M)概率的计算,我们是把他所包含的概率相乘求出它的绝对概率。绝对概率有很多不足,当样本数据数量较少时,概率的偏差会非常严重。Scikit-learn支持朴素贝叶斯算法支持高斯分布、多项式分布和伯努利分布等几种概率方式。
示例程序
下面我们看一个程序例子,这个例子分别用素贝叶斯算法支持高斯分布、多项式分布和伯努利分布概率方法对样本数据进行训练。再根据训练结果用predict,predict_log_proba和predict_proba三种方法进行预测。

例子是这样的,提供一组二元样本(1,1),(1,2)...。分别对应结果(1),(2)...。经过训练后,测试下一组样本(-0.8,-1)对应的结果是1还是2。
		from sklearn.naive_bayes import GaussianNB
		from sklearn.naive_bayes import MultinomialNB
		from sklearn.naive_bayes import BernoulliNB
		import numpy as np
		 
		X = np.array([[1, 1], [1, 2], [1, 0], [3, 0], [2, 1], [2, 3]])
		Y = np.array([1, 1, 1, 2, 2, 2])
		clf = GaussianNB()
		#拟合数据
		clf.fit(X, Y)
		print("-------GaussianNB------------------")
		print("Predict result by predict:",clf.predict([[-0.8, -1]]))
		print("Predict result by predict_proba:",clf.predict_proba([[-0.8, -1]]))
		print("Predict result by predict_log_proba:",clf.predict_log_proba([[-0.8, -1]]))
		 
		 
		print("-------MultinomialNB---------------")
		clf = MultinomialNB()
		#拟合数据
		clf.fit(X, Y)
		print("Predict result by predict:",clf.predict([[-0.8, -1]]))
		print("Predict result by predict_proba:",clf.predict_proba([[-0.8, -1]]))
		print("Predict result by predict_log_proba:",clf.predict_log_proba([[-0.8, -1]])
		 
		 
		print("-------BernoulliNB----------------")
		clf = BernoulliNB()
		#拟合数据
		clf.fit(X, Y)
		print("Predict result by predict:",clf.predict([[-0.8, -1]]))
		print("Predict result by predict_proba:",clf.predict_proba([[-0.8, -1]]))
		print("Predict result by predict_log_proba:",clf.predict_log_proba([[-0.8, -1]]))
		

输出的概率分别表示是1的概率和是2的概率。那个概率大系统就认为结果是那个。

本系列文章