信息论整理

原创
2022/07/16 10:14
阅读数 571

信息论研究的目的和范畴

通信系统模型

古人近距离用语言来传递信息,远距离用手势、烽火来传递信息;现代人用各种通讯工具(电话、互联网)来传递信息。它们的手段不同,但是目的是相同的,都是为了传递信息,我们以此来建模,就有了上图的模型。甲方(信源)是发送消息的一方,乙方(信宿)是接收消息的一方。信源发出消息,经过编码器变成信号送入信道,同时噪声源发出噪声也送入信道。这样信号加噪声就一起通过信道发送给了译码器,译码器将信号提取出来变回原始的消息交给信宿。

  • 模型的六个部分
  1. 信源:信源是产生消息(或称符号)的源。
  2. 编码器:编码是把信源的原始信息按一定的理论或工程要求,编成另一种消息形态,称之为信号的器件。
  3. 信道:信道是信号从信源传输到信宿的通路。
  4. 噪声源:噪声是一种无处不在的干扰器。
  5. 译码器:译码器是编码器的逆器件,译码器把信道输出的包含干扰的信号进行反变换,以恢复信源信息。
  6. 信宿:信宿是消息传送的对象,信宿一般是合法的接受者。
  • 通信的方式
  1. 单工:如果只是从信源到信宿的单向通讯,即为单工。
  2. 半双工:信源可以向信宿传输信息,信宿也可以向信源传输信息,但是两边不能同时传送。
  3. 全双工:信源和信宿可以同时双向传输信息。
  4. 广播:一个信源向多个信宿发送消息。
  5. 网络:多个用户向多个用户发送消息。它们互为信源信宿。
  • 信息传输的有效性、可靠性、保密性和认证性。
  1. 有效性:用最短的时间,最少的设备资源来传输同样的信息量。对于信源来说就是要压缩掉信源当中的冗余,除了必要信息以外的冗余需要消除。采用的技术方式为信源编码。
  2. 可靠性:指信源发出的消息,经过有噪声信道传输以后,要尽可能的在接收端准确的再现信源发出的消息,失真越小越好。采用的技术方式为信道编码或抗干扰编码。
  3. 保密性:指通信系统传输的消息,仅仅是对信宿和信源这两个合法的端是可以理解的。而对于其他任何非法的窃取者,都不能够理解。采用的技术方式为加密编码。
  4. 认证性:指接受者能正确无误的判断消息的正确性,验证消息的完整性,而不是伪造和篡改的消息。

基本信息论

信源及信源的不确定性

实际有用的信源应具有不确定性(也称为不肯定性)。信源应该至少包括有两种消息,例如二元信源就包括有0和1这两种消息,信宿也知道信源有这两种消息,但是信宿不知道的是信源在某个时刻发送的是哪个消息。信宿在收到信源的消息的时候,经过译码,才能够判断信源发送的到底是哪个消息。如果信道中没有噪声干扰,信宿一定判断正确,也就是译码正确,于是通讯就可以无差错的完成。

  • 不确定性的概念

不确定性是指信宿对信源某时刻发出的哪个消息不能肯定。但是信宿对信源会发送哪几种消息是知道的。这就是不确定性。

例一:如果二元信源(含有两个不同消息的信源)发送1的概率为0.99,而发送0的概率为0.01。信宿仅凭猜测就可以简单地认为信源发出的消息始终都是1,即便如此,猜错的概率(差错率)也可以较低,仅为1%。说明在这种情况下,信源基本上在发送1,信源的不确定性很小。

例二:如果二元信源发1和发0的概率相等,均为0.5,这时信宿如果不依赖通信而猜测的话,其差错率就高达50%。说明信宿要猜测信源发什么消息困难了,因为信源发什么消息相当不确定。

例三:如果信源具有更多的消息,例如发10个阿拉伯数字0、1...9(例如采用四位十进制的中文电报),而且假定这10个消息是等概率分布的,均为1/10,这对信宿来讲更难猜了,因为现在变成了猜测10个消息里到底发的哪一个的问题,显然比两个里猜一个难多了,因为信源发什么消息更不确定了。

例四:一个极端的情况,信源只发送一种消息,即永远只发1(信源相当于一个直流电源)或者永远只发0,现在从这样的信源我们不可能获得任何消息,相当于我们从一节电池不可能获得任何例如语音或图像的信息(只可能获得能量)。如果信源只可能发出一个确定的消息,则信源的不确定性为0。一个实际有用的信源应具有至少两种消息

  • 可以用概率空间来描述信源

其中为信源的消息,这些是已知的。为各消息的概率。    满足

这是一种离散信源,它的消息是以离散的形式出现的。

那么上面的例一的概率空间为

例二的概率空间为

例三的概率空间为

例四的概率空间为

结论:

  1. 信源的不确定程度与其概率空间的消息数及其概率分布有关。
  2. 信源的消息为等概率分布时,不确定度最大。
  3. 信源的消息为等概率分布且其数目越多,其不确定度也越大。
  4. 只发送一个确定消息的信源,其不确定度为0,这是一个实际无用的信源,因其实际上不发送任何信息。

则上面四个例子可以根据其不确定度有如下的不等式

0 = [例四] < [例一] < [例二] < [例三] < ∞

一个离散的不确定度的值一定是一个有限的值,不会是无穷大的

  • 信源不确定度的定义

哈特莱认为应该用概率空间的概率的倒数的对数来度量信源的不确定度。

一般令K=1,则

以上是信源的消息是等概率分布的表达式,如果信源消息不是等概率分布的,例如分别为,则用

来表示信源不等概率时输出一个消息所提供的信息量。

1、当某件事情必然发生,就不存在不确定性,其不确定性为0,即

2、当某事件几乎不发生(发生的概率极小),其不确定性应趋向于无穷大,即

3、发生概率小的事情其不确定性应比发生概率大的事情不确定性大,即

,且,则

的单调递减函数。

表示消息提供的信息量,也是的单调递减函数。

4、两个互相独立事件的联合信息量应等于它们分别信息量之和。

两个互相独立事件的消息数的可能的组合是乘积的关系,根据对数的运算规则,乘积的关系使用对数来处理的话,就变成了相加的关系。

  • 信息度量

定义信息量的定量度量方法,用表示消息提供的信息量,则

也可以写成

为消息自信息量,表示信源发出一个消息所带有的信息量。

可以将信息量定义为:I(信息量) = 不肯定程度的减小量。它指的是在原有的不肯定度的情况下,在通过通讯后,不肯定度减少了多少。通讯一般都是有噪声的,信源发送那么多的信息量,一般会损失一部分的信息量,也就是信宿没收到的信息量。不肯定度的减小量是指信宿收到的净信息量。在极端情况下,不肯定程度减小到0,也就是信源发送的信息信宿全部得到了。

信宿在收信前后,其消息的概率分布发生了变化,即其概率空间变了。设信源的概率空间为

其不确定度为

它表示的是信源的不确定度为信源的p(X)的函数。

信宿接收到信源发出的消息后,也形成了一个概率空间,称为信宿的概率空间Y

其中p(X/Y)为条件概率,有关条件概率的内容可以参考概率论整理 中的条件概率

其不肯定程度为:

它表示信宿的不肯定程度为p(X/Y)的函数。

那么通过通讯以后所得到的信息量为

代入其公式得

这里先验概率指不受其他条件限制的概率,后验概率指已知有条件限制下的概率。

其中为先验概率,为后验概率,称为交互信息量(简称互信息)

信息量有三种单位

  1. 比特(bit),对数取2为底。
  2. 奈特(nat),自然对数e为底。
  3. 哈特莱(Hartley),对数取10为底。

例五:某二元通信系统,它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰,通信不能无差错地进行,即有1/6的1在接收端错成0,1/2的0在接收端错成1,问信宿收到一个消息以后,平均获得的信息量是多少?

解:X端为信源,Y端为信宿这个是先验概率。

根据题意确定

它表示发1时收到1的概率是5/6,发1时收到0的概率为1/6,发0时收到0的概率为1/2,发0时收到1的概率为1/2.

先用乘法公式P(AB)=P(A)P(B|A),在这里即为来计算联合概率

再计算,这是在信宿Y端

这里的p(1)的意思为1/4的概率发送1,5/6的概率收到1,再加上3/4的概率发送0,1/2的概率收到1,则收到1的概率为7/12。p(0)的意思为3/4的概率发送0,1/2的概率收到0,加上1/4的概率发送1,1/6的概率收到0,则收到0的概率为5/12。

再使用条件概率公式P(B|A)=P(AB)/P(A),即这里的,计算后验概率(即条件概率)为

则信宿收到一个消息所获得的信息量,共有四种情况。

它的计算方式就是代入公式,这里表示发送的消息和收到的消息是相同的时候的信息量,它们都是正数,而表示发送的消息和收到的消息是不同的时候的信息量,它们都是负数,这是通讯错误情况下才会发生的,接收端非但没有消除对信源的不确定性,反而增加了不确定性,相当于得到了负的信息。

故信宿收到一个消息所获得的平均信息量为

注意,这里是一种统计平均,是要计算它们出现的概率的平均。可以证明平均信息量是非负的

  • 离散信源的熵

离散信源是一种仅输出有限个消息的信源。除了离散信源以外,还有连续信源,有的信源输出的消息的取值是连续的,即可能出现的消息数是不可数的无限值,可用连续型随机变量来描述这些消息。这种信源称为连续信源。

如果信道中无任何干扰,则后验概率为1,即发,收也必为,通过无差错的通信,信宿完全消除了对信源的不确定度,即在

的前提下,

这里指的是信宿收到了信源所发出的全部信息量。

从离散信源输出的某个消息所获得的信息量为:

这里j指的是信宿收到的信息,i指的是信源发出的信息,上式表示的是信宿收到的信息量=信源发出的信息量,后面的公式就是信息量的度量。

信宿收到一个消息所获得的平均信息量I:

它表示的是对信源所具有的每一个消息做统计平均。后面的式子指的是信源的不确定度减去信宿收到的不确定度,也就是信宿的净不确定度。由于我们之前说了信道是理想的,不存在干扰,故=0,则最终就是信源的不确定度。

把信源输出一个消息所提供的平均信息量或者信源的不确定度H(X)定义为信源的熵。熵的本意为热力学中表示分子状态的紊乱程度;信息论中的熵表示信息状态的不确定度。

如果N个消息中每个概率均相等,这是一种信源消息等概率分布情况,且概率为P=1/N,则

这里需要注意的是,我们是以比特作为单位的,所以对数以2为底。

例六:以例五为例,计算该信源的熵H(X)。

解:根据,这里虽然是累加,但是该二元信源的每一种情况的概率不同,所以需要将两种情况都加起来,则

表示信源X每发出一个消息提供了0.811比特的信息量。

例七:仍以例五为例,计算该通信系统信宿端Y,消息y1,y2组成的概率空间的不确定度H(Y)。

解:由于我们在例五中已知了

,故代入公式,可得

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部