信息熵

原创
2018/04/16 11:11
阅读数 10

信息熵:信息的不确定性的大小。一条信息消除的不确定性越大(即熵越大),它蕴含的信息量越大。
信息量:消除不确定性的大小。

比如在数据打标签过程中。
句子1  熵为2.7     标记为A类
句子2  熵为5.0     标记为B类
那么句子2的信息量明显大于句1的信息量。因为句子2的不确定性更大,但它任然能确定它的类别,说明句子2更有价值。

参考《数学之美》第六章。

参考网址:https://www.zhihu.com/question/22178202

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部