文档章节

信息熵

alexqdjay
 alexqdjay
发布于 2017/03/22 11:41
字数 593
阅读 53
收藏 0

定义

在实际的情况中,每种可能情况出现的概率并不是相同的,所以熵(entropy)就用来衡量整个系统的平均信息量,二话不说上公式:

Pi 表示概率

Hs 计算结果衡量信息量大小,或者说不确定性(纯度),越大说明信息量越大,不确定性越大。

举例

中国队与巴西队进行比赛,谁获胜?假如中国队获胜的概率为0%,巴西获胜是100%,那么:

H = -0.0*log0.0 - 1.0*log1.0 = 0 (本文log基数都为2)

表明这种结果信息量为零,不确定性为零(人们一般都不关心比赛结果)

但是,如果巴西队跟德国队进行比赛呢?假如巴西队和德国队分别获胜概率为50%(虽然实际上有过惨败),那么:

H = -0.5*log0.5 - 0.5*log0.5 = 1

说明信息量很大,不确定性很大,大家也都非常关心这场世纪之战。

再一例

吴京博士在他的书《数学之美》中也举过一个例子:A要询问B世界杯谁得了冠军,B没有直接回答而要A进行猜测,每猜一次需要付给B一元,请问最少需要多少钱A才能知道谁是冠军?

这是一道很好的脑筋急转弯题。使用上面的公式你可能已经算出是5元,询问过程很像二分查找,先把32队分两堆,确定再那一堆,然后再在目标堆进行划分一直到找到目标队,而整个过程需要分5次(2^5=32)。

信息量

以中文和英文举例,英文字母有26个,每一个几乎概率一样,这样一个字母的信息量为4.7(-1/26*log1/26),常用汉字2500个,一个汉字信息量为11.3(-1/2500*log1/2500),汉字包含的信息量要大于英文,所以在印刷字体大小差不读时,中文译本要比原文薄,可以去统计下应该差不多薄一半。

分类

信息熵也被应用一些分类算法中,衡量预测函数的结果是否不确定性很大,熵越小说明分类结果越准确。所以在参数拟合阶段会选择参数尽量使得熵最小。

© 著作权归作者所有

alexqdjay
粉丝 35
博文 26
码字总数 31560
作品 0
浦东
高级程序员
私信 提问

暂无文章

关于AsyncTask的onPostExcute方法是否会在Activity重建过程中调用的问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/XG1057415595/article/details/86774575 假设下面一种情况...

shzwork
今天
6
0
object 类中有哪些方法?

getClass(): 获取运行时类的对象 equals():判断其他对象是否与此对象相等 hashcode():返回该对象的哈希码值 toString():返回该对象的字符串表示 clone(): 创建并返此对象的一个副本 wait...

happywe
今天
6
0
Docker容器实战(七) - 容器中进程视野下的文件系统

前两文中,讲了Linux容器最基础的两种技术 Namespace 作用是“隔离”,它让应用进程只能看到该Namespace内的“世界” Cgroups 作用是“限制”,它给这个“世界”围上了一圈看不见的墙 这么一...

JavaEdge
今天
8
0
文件访问和共享的方法介绍

在上一篇文章中,你了解到文件有三个不同的权限集。拥有该文件的用户有一个集合,拥有该文件的组的成员有一个集合,然后最终一个集合适用于其他所有人。在长列表(ls -l)中这些权限使用符号...

老孟的Linux私房菜
今天
7
0
面试套路题目

作者:抱紧超越小姐姐 链接:https://www.nowcoder.com/discuss/309292?type=3 来源:牛客网 面试时候的潜台词 抱紧超越小姐姐 编辑于 2019-10-15 16:14:56APP内打开赞 3 | 收藏 4 | 回复24 ...

MtrS
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部