文档章节

贝叶斯分类器

咸鱼恩
 咸鱼恩
发布于 2017/05/24 21:26
字数 1179
阅读 13
收藏 0

 

        贝叶斯分类是一种分类算法的总称,这种算法均以贝叶斯定理为基础,故统称为贝叶斯分类。

贝叶斯分类器的原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即对该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。

        何为先验,何为后验这里解释一下:

如:你出门的时候,觉得今天会下雨的事件为Y,然后听见雷声的事件为X。那么,一开始你以为会下雨的概率为P(Y),听到雷声后认为会下雨的概率为P(Y|X)。很明显P(Y|X)>P(Y)。这里

  • P(Y)为先验概率,是根据以往的数据分析或者经验得到的概率;
  • P(Y|X)为后验概率,是得到本次实验的信息从而重新修正的概率。

        贝叶斯定理:设实验E的样本空间为S,A为E的时间,B1,B2,...,Bn为样本空间S的一个划分,且P(A)>0,P(Bi)>=0(i=1,2,...,n),则有:

上面等式的转换是根据全概率公式而来的:

根据贝叶斯定理,我们可以脑补一下,不得不说这方法真是智慧啊。我们在知道结果的情况下再去追溯导致该结果事件发生的原因事件是非常简单的,如求条件概率P(X|Y)。但是就告诉我们原因事件让去预测结果事件,即求P(Y|X),这是有困难的。而贝叶斯所做的事情呢,就是推导一个令人信服的公式,利用P(X|Y)去求P(Y|X),即

 

        贝叶斯分类器当中不得不提一下朴素贝叶斯法,至于为什么,其他贝叶斯分类器都是大同小异的,那就举一个大家都提的例子,至少要查相关资料的话会有很多资料。(捂脸)

        朴素贝叶斯法

        朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

        原理

        设输入空间为n维向量的集合,输出空间为类标记集合。输入为特征向量,输出为类标记。X是定义在输入空间上的随机向量,Y是定义在输出空间上的随机变量。P(X,Y)是X和Y的联合概率分布。训练数据集

由P(X,Y)独立同分布产生。

        朴素贝叶斯法假设:在分类确定的条件下,用于分类的特征是条件独立的。即:

                                

        根据贝叶斯定理

        考虑分类特征的条件独立假设有:

        于是朴素贝叶斯分类器表示为:

        由于对所有的ck,K=1,2,...k,上式的分母都相同,因此上式可重写为

        朴素贝叶斯法将实例分到后验概率最大的类中,这个等价于期望风险最小化。(推导过程自行百度)。用常识来想,不划分到概率最大类中难道划分到其他的当中吗?(捂脸)

        朴素贝叶斯法的学习

        在朴素贝叶斯法中,要学习的参数就是一下两种概率:  

  •   先验概率P(Y=ck)
  •   条件概率P(X(j)=x(j)|Y=ck)

        通常采用极大似然估计这两种概率。

  •   先验概率P(Y=ck)的极大似然估计为

                                

  •    条件概率P(X(j)=x(j)|Y=ck)的极大似然估计为:

其中,aj1,aj2,...,ajsj为第j个特征x(j)可能的取值。

        贝叶斯估计

        用极大似然估计可能会出现所要估计的概率值为0的情况,这时候会影响到后验概率的计算结果,是分类产生偏差,解决这一问题的方法是采用贝叶斯估计,具体地,条件概率的贝叶斯估计是

        P(Y=ck)的贝叶斯估计调整为

                                                     

=0,为极大似然估计

=1,为拉普拉斯平滑

        至于其的贝叶斯分类器,如高斯贝叶斯分类器,多项式贝叶斯分类器以及伯努利贝叶斯分类器。主要区别是特征的条件概率分布不同。

        最后不得不提一下贝叶斯分类器的主要特点:

  • 属性可以离散,也可以连续;
  • 数学基础扎实,分类效果稳定;
  • 对缺失和噪声数据不太敏感;
  • 属性如果不相关,分类效果很好;如果相关,则不低于决策树。

© 著作权归作者所有

上一篇: 计算机网络
咸鱼恩
粉丝 4
博文 8
码字总数 8511
作品 0
杭州
私信 提问
统计学习方法 | 朴素贝叶斯法

01 分类方法 之前我们学习了一种分类方法——K近邻法(KNN),今天我们再学习一种更常用的分类方法 朴素贝叶斯法 这里,我们先区分一下“分类”和“聚类” 分类的目的是学会一个分类函数或分类...

邓莎
2018/05/23
0
0
【论文阅读】中医类药性分析:使用机器学习方法预测类药性

版权声明:欢迎转载,转载请注明出处:土豆洋芋山药蛋 https://blog.csdn.net/qq_33414271/article/details/85643309 论文来源: Sheng, Tian,Junmei, Wang,Youyong, Li,Xiaojie, Xu,Tingjun...

土豆洋芋山药蛋
01/04
0
0
【火炉炼AI】机器学习010-用朴素贝叶斯分类器解决多分类问题

【火炉炼AI】机器学习010-用朴素贝叶斯分类器解决多分类问题 (本文所使用的Python库和版本号: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 ) 前面讲到了使用逻辑回归分类器解...

炼丹老顽童
2018/08/06
0
0
面试前抢救一下--朴素贝叶斯分类器

写在最前 朴素贝叶斯分类器,实际上也是对人们常识做的一个算法的完善。其以一种更为精准的量化来判断分类,使用的方法是后验概率。本文从与决策树的比较出发,介绍先验概率和后验概率的关系...

香橙云子
03/04
0
0
机器学习 西瓜书 Day07 贝叶斯分类器(上)

p147- p156 今天来看第七章。同时,今天心情不错:) 2018.5.16 凌晨0:51 不行了不行了,这一章感觉比SVM还烧脑,困了困了:( 所以这一章分两天看吧。 明天补上今天少看的6页 第七章 贝叶斯分...

皇家马德里主教练齐达内
2018/05/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot 2 实战:使用 Spring Boot Admin 监控你的应用

1. 前言 生产上对 Web 应用 的监控是十分必要的。我们可以近乎实时来对应用的健康、性能等其他指标进行监控来及时应对一些突发情况。避免一些故障的发生。对于 Spring Boot 应用来说我们可以...

码农小胖哥
35分钟前
3
0
ZetCode 教程翻译计划正式启动 | ApacheCN

原文:ZetCode 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远。 ApacheCN 学习资源 贡献指南 本项目需要校对,欢迎大家提交 Pull Request。 ...

ApacheCN_飞龙
46分钟前
4
0
CSS定位

CSS定位 relative相对定位 absolute绝对定位 fixed和sticky及zIndex relative相对定位 position特性:css position属性用于指定一个元素在文档中的定位方式。top、right、bottom、left属性则...

studywin
55分钟前
6
0
从零基础到拿到网易Java实习offer,我做对了哪些事

作为一个非科班小白,我在读研期间基本是自学Java,从一开始几乎零基础,只有一点点数据结构和Java方面的基础,到最终获得网易游戏的Java实习offer,我大概用了半年左右的时间。本文将会讲到...

Java技术江湖
昨天
5
0
程序性能checklist

程序性能checklist

Moks角木
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部