技术标签: 算法
贝叶斯分类算法是统计学中的一种概率分类方法,朴素贝叶斯分类是贝叶斯分类中最简单的一种。其分类原理就是利用贝叶斯公式根据某特征的先验概率计算出其后验概率,然后选择具有最大后验概率作为该特征所属的类。
之所以称之为“朴素”,是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是相对独立的。
假设X有x1,x2,…xn个特征,P(x) = P(x1)P(x2)…P(xn)
假设有A,B两个事件,在B事件发生的条件下,A事件发生的概率。
考察在每一种情况下事件A发生的概率,计算A的概率。
公式表示若事件A1,A2,…,An构成一个完备事件组且都有正概率,则对任意一个事件B都有公式成立。
在事件A发生的条件下,考察每种情况出现的条件概率
其中样本空间由A和A’组成。
由条件概率公式:
P(A):为先验概率,即在B事件发生之前,对A事件发生概率的预判。
P(A|B):为后验概率,即在B事件发生之后,对A事件发生概率的重新评估。
P(B|A)/P(B):为可能性函数,是一个调整因子,使得预估概率更加接近真实概率。
所以贝叶斯公式可以表示为:后验概率=先验概率 * 调整因子
如果调整因子>1,则表示先验概率被增强,事件A发生的可能性变大。
如果调整因子=1,则表示事件B对判断事件A发生的概率没有帮助。
如果调整因子<1,则表示先验概率被削弱,事件A发生的可能性变小。
注意:用朴素贝叶斯算法对案例进行分类时,主要是通过求分类目标的最大后验概率来进行分类。由于在同种情况下贝叶斯公式的分母是相同的,所以在计算是可以将分母忽略,以减少计算。
已知某人的出行记录和气象记录,来预判这个人是否会出行。
由上述表格可知,类别一共有两个:出门和不出门。特征一共有四个:天气、温度、湿度和风。
我们来预测一下在雨天、热、湿度高、无风的情况下,这个人是否出门。
通过(11)中的表达式可以得出:
P(出门∣雨天/热/高/无风)=P(出门)P(雨天∣出门)P(热∣出门)P(高∣出门)P(无风∣出门)
P(不出门∣雨天/热/高/无风)=P(不出门)P(雨天∣不出门)P(热∣不出门)P(高∣不出门)P(无风∣不出门)
根据表格可知:
P(出门)=0.5
P(不出门)=0.5
P(雨天|不出门)P(热|不出门)P(高|不出门)P(无风|不出门)=4/81
P(雨天|出门)P(热|出门)P(高|出门)P(无风|出门)=2/81
最终可得出:
P(出门|雨天/ 热/ 高/ 无风)=1/81
P(不出门|雨天/ 热/ 高/ 无风)=2/81
最大后验概率为:P(不出门|雨天/ 热/ 高/ 无风)
可以得出结论:在雨天、热、湿度高、无风的天气状况下,这个人不会出门。
现在朴素贝叶斯算法一共有3种:高斯朴素贝叶斯、多项式朴素贝叶斯和伯努利朴素贝叶斯。
在处理连续数据的分类时,我们通常选用高斯朴素贝叶斯算法。Gaussian NB就是先验概率为高斯分布的朴素贝叶斯。假设每一个特征的数据都服从高斯分布。
其中,Ck是Y的第k个类别,μ和σ为训练集的均值和标准差。
多项式朴素贝叶斯就是先验概率为多项式分布的朴素贝叶斯。假设特征是由一个简单多项式分布生成的。多项式分布可以描述各种类型样本出现次数的概率,因此多项式朴素贝叶斯非常适合用于描述出现次数或者出现次数比例的特征。该模型常用于文本分类,特征值表示的是次数。公式如下:
其中,p(Xj=xjl|Y=Ck)是第k个类别的第j维特征的第l个取值的条件概率。mk是训练集中输出为第k类的样本个数。 n为数据的维度,λ是一个大于0的常数,当λ=1是,为拉普拉斯平滑。
伯努利朴素贝叶斯就是先验概率为伯努利分布的朴素贝叶斯。假设特征的先验概率为二元博独立分布。
在伯努利模型中,每个特征的取值只有True和False。在文本分类中,就是一个特征有没有出现在一个文档中。
在某个分类下, 为防止训练集中某个特征值和某个类别未同时出现过,导致预测概率为0。所以需要进行平滑处理 。当平滑系数为1时,为拉普拉斯平滑。
一般来说,如果样本特征的分布大部分是连续值,使用高斯朴素贝叶斯会比较好。
如果样本特征的分布大部分是多元离散值,使用多项式朴素贝叶斯比较合适。
如果样本特征是二元离散值或者很稀疏的多元离散值,应该使用伯努利朴素贝叶斯比较合适。
import numpy as np
import pandas as pd
import random
dataSet =pd.read_csv('iris.txt',header = None)
dataSet.head()
def randSplit(dataSet, rate):
l = list(dataSet.index) #提取出索引
random.shuffle(l) #随机打乱索引
dataSet.index = l #将打乱后的索引重新赋值给原数据集
n = dataSet.shape[0] #总行数
m = int(n * rate) #训练集的数量
train = dataSet.loc[range(m), :] #提取前m个记录作为训练集
test = dataSet.loc[range(m, n), :] #剩下的作为测试集
dataSet.index = range(dataSet.shape[0]) #更新原数据集的索引
test.index = range(test.shape[0]) #更新测试集的索引
return train, test
def gnb_classify(train,test):
labels = train.iloc[:,-1].value_counts().index #提取训练集的标签种类
mean =[] #存放每个类别的均值
std =[] #存放每个类别的方差
result = [] #存放测试集的预测结果
for i in labels:
item = train.loc[train.iloc[:,-1]==i,:] #分别提取出每一种类别
m = item.iloc[:,:-1].mean() #当前类别的平均值
s = np.sum((item.iloc[:,:-1]-m)**2)/(item.shape[0]) #当前类别的方差
mean.append(m) #将当前类别的平均值追加至列表
std.append(s) #将当前类别的方差追加至列表
means = pd.DataFrame(mean,index=labels) #变成DF格式,索引为类标签
stds = pd.DataFrame(std,index=labels) #变成DF格式,索引为类标签
for j in range(test.shape[0]):
iset = test.iloc[j,:-1].tolist() #当前测试实例
iprob = np.exp(-1*(iset-means)**2/(stds*2))/(np.sqrt(2*np.pi*stds)) #正态分布公式
prob = 1 #初始化当前实例总概率
for k in range(test.shape[1]-1): #遍历每个特征
prob *= iprob[k] #特征概率之积即为当前实例概率
cla = prob.index[np.argmax(prob.values)] #返回最大概率的类别
result.append(cla)
test['predict']=result
acc = (test.iloc[:,-1]==test.iloc[:,-2]).mean() #计算预测准确率
print(f'模型预测准确率为{acc}')
return test
for i in range(20):#测试20次,对比测试成功的概率
train,test = randSplit(dataSet,0.8)
gnb_classify(train,test)
import numpy as np
def loadDataSet():
dataSet=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] #切分好的词条
classVec = [0,1,0,1,0,1] #类别标签向量,1代表侮辱性词汇,0代表非侮辱性词汇
return dataSet,classVec
利用Python中的set集合特性,将词条中重复的词去掉,创建无词汇重复的词汇表。
根据vocabList词汇表,将inputSet向量化,向量的每个元素为1或0.
参数说明:
vocabList:词汇表
inputSet:切分好的词条列表中的一天
返回:
returnVec:文档向量
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0] * len(vocabList) #创建一个其中所含元素都为0的向量
for word in inputSet: #遍历每个词条
if word in vocabList: #如果词条存在于词汇表中,则变为1
returnVec[vocabList.index(word)] = 1
else:
print(f" {word} is not in my Vocabulary!" )
return returnVec #返回文档向量
参数说明:
dataSet:切分好的词条
返回:
trainMat:所有的词条向量组成的表
参数说明:
trainMat:训练文本矩阵
classVec:训练类别标签向量
返回:
p0V:非侮辱类的条件概率数组
p1V:侮辱类的条件概率数组
pAb:文档属于侮辱类的概率(侮辱类的先验概率)
参数说明:
vec2Classify:待分类的词条数组
p0V:非侮辱类的条件概率数组
p1V:侮辱类的条件概率数组
pAb:文档属于侮辱类的概率(侮辱类的先验概率)
返回:
0:非侮辱类
1:侮辱类
def classifyNB(vec2Classify, p0V, p1V, pAb):
p1 = sum(vec2Classify * p1V) + np.log(pAb) #对应元素相乘
p0 = sum(vec2Classify * p0V) + np.log(1- pAb) #对应元素相乘
if p1 > p0:
return 1
else:
return 0
参数说明:
testVec:测试样本
返回:
测试样本的类别
def testingNB(testVec):
dataSet,classVec = loadDataSet() #创建实验样本
vocabList = createVocabList(dataSet) #创建词汇表
trainMat= get_trainMat(dataSet) #将实验样本向量化
p0V,p1V,pAb = trainNB(trainMat,classVec) #训练朴素贝叶斯分类器
thisone = setOfWords2Vec(vocabList, testVec) #测试样本向量化
if classifyNB(thisone,p0V,p1V,pAb)==1:
print(testVec,'属于侮辱类') #执行分类并打印分类结果
else:
print(testVec,'属于非侮辱类') #执行分类并打印分类结果
测试样本1
testVec1 = ['love', 'my', 'dalmation']
testingNB(testVec1)
测试样本2
testVec2 = ['stupid', 'garbage']
testingNB(testVec2)
多项式朴素贝叶斯也是多用于文本处理,其原理和计算的流程和伯努利朴素贝叶斯基本一致,唯一的区别在于单词的计数方式, 在文本处理的环节中,我们将单词是否出现在词组作为特征,但在多项式朴素贝叶斯中,我们将单词在词组中出现的次数作为特征,因此只需要更改setOfWords2Vec的函数即可,变成如下方式:
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0] * len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1#单词在单词表中每出现一次,则加1
return returnVec
文章浏览阅读3.8k次,点赞9次,收藏28次。直接上一个工作中碰到的问题,另外一个系统开启多线程调用我这边的接口,然后我这边会开启多线程批量查询第三方接口并且返回给调用方。使用的是两三年前别人遗留下来的方法,放到线上后发现确实是可以正常取到结果,但是一旦调用,CPU占用就直接100%(部署环境是win server服务器)。因此查看了下相关的老代码并使用JProfiler查看发现是在某个while循环的时候有问题。具体项目代码就不贴了,类似于下面这段代码。while(flag) {//your code;}这里的flag._main函数使用while(1)循环cpu占用99
文章浏览阅读347次。idea shift f6 快捷键无效_idea shift +f6快捷键不生效
文章浏览阅读135次。Ecmacript 中没有DOM 和 BOM核心模块Node为JavaScript提供了很多服务器级别,这些API绝大多数都被包装到了一个具名和核心模块中了,例如文件操作的 fs 核心模块 ,http服务构建的http 模块 path 路径操作模块 os 操作系统信息模块// 用来获取机器信息的var os = require('os')// 用来操作路径的var path = require('path')// 获取当前机器的 CPU 信息console.log(os.cpus._node模块中有很多核心模块,以下不属于核心模块,使用时需下载的是
文章浏览阅读10w+次,点赞435次,收藏3.4k次。SPSS 22 下载安装过程7.6 方差分析与回归分析的SPSS实现7.6.1 SPSS软件概述1 SPSS版本与安装2 SPSS界面3 SPSS特点4 SPSS数据7.6.2 SPSS与方差分析1 单因素方差分析2 双因素方差分析7.6.3 SPSS与回归分析SPSS回归分析过程牙膏价格问题的回归分析_化工数学模型数据回归软件
文章浏览阅读7.5k次。如何利用hutool工具包实现邮件发送功能呢?1、首先引入hutool依赖<dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.7.19</version></dependency>2、编写邮件发送工具类package com.pc.c..._hutool发送邮件
文章浏览阅读867次,点赞2次,收藏2次。docker安装elasticsearch,elasticsearch-head,kibana,ik分词器安装方式基本有两种,一种是pull的方式,一种是Dockerfile的方式,由于pull的方式pull下来后还需配置许多东西且不便于复用,个人比较喜欢使用Dockerfile的方式所有docker支持的镜像基本都在https://hub.docker.com/docker的官网上能找到合..._docker安装kibana连接elasticsearch并且elasticsearch有密码
文章浏览阅读1.3w次,点赞57次,收藏92次。整理 | 郑丽媛出品 | CSDN(ID:CSDNnews)近年来,随着机器学习的兴起,有一门编程语言逐渐变得火热——Python。得益于其针对机器学习提供了大量开源框架和第三方模块,内置..._beeware
文章浏览阅读7.9k次。//// ViewController.swift// Day_10_Timer//// Created by dongqiangfei on 2018/10/15.// Copyright 2018年 飞飞. All rights reserved.//import UIKitclass ViewController: UIViewController { ..._swift timer 暂停
文章浏览阅读986次,点赞2次,收藏2次。1.硬性等待让当前线程暂停执行,应用场景:代码执行速度太快了,但是UI元素没有立马加载出来,造成两者不同步,这时候就可以让代码等待一下,再去执行找元素的动作线程休眠,强制等待 Thread.sleep(long mills)package com.example.demo;import org.junit.jupiter.api.Test;import org.openqa.selenium.By;import org.openqa.selenium.firefox.Firefox.._元素三大等待
文章浏览阅读3k次,点赞4次,收藏14次。Java软件工程师职位分析_java岗位分析
文章浏览阅读2k次。Java:Unreachable code的解决方法_java unreachable code
文章浏览阅读1w次。1、html中设置标签data-*的值 标题 11111 222222、点击获取当前标签的data-url的值$('dd').on('click', function() { var urlVal = $(this).data('ur_如何根据data-*属性获取对应的标签对象