信息及其度量

2016-10-22 10:44:36 |人围观 | 评论:

　　信息是消息中有意义、有价值的部分。
　　信息量是对信息的定量描述。一个接收者接收到若干个消息，每个消息会具有不同的信息量。
一、自信息
　　从感知角度看，信息量的大小和接收者接收到消息后的惊奇程度有关，惊奇程度大的携带的信息量就大；惊奇程度小的，携带信息量也小。从概率论角度看，消息中携带的信息量与事件发生的概率有关，事件发生的概率越小，则消息中携带的信息量就越大。即信息量与消息出现的概率成反比。 　　当 时， ，确定事件的信息量为0.
　　当 时， ,如果时间是不可能的，则传递的信息量为无穷。
　　综上所述 （1）　　信息量的单位与所用对数的底有关。
　　（1）若取 ，信息量的单位为比特（bit或b）。
　　（2）若取 ，信息量的单位为奈特（nat）。1奈特= 比特=1.443比特。
　　（3）若取 则信息量的单位为哈特莱（Hartley）。1哈特莱= 比特=3.322比特。
　　通常广泛使用的单位为比特，此时有 （2）　　 称自信息。
二、离散信源的信息熵
　　定义：每个符号所含的平均信息量，即自信息 的统计平均值。
　　定义平均信息量为信源中任意一个事件发生所携带信息量 的统计平均值。
　　假设一个离散信源是一个由M个符号（事件）组成的符号集，即概率空间分布为 且有 　　用 表示消息（每个符号）所携带的信息量。
　　离散信源的熵： 　　可以证明：式（4）在 ，即每个符号等概率独立出现时，会有最大值。 （bit/符号） （4）　　例题：某信息源由A、B、C、D四个符号组成，每个符号独立出现，出现的概率分别为1/4、1/4、3/16、5/16,试求该信息源中每个符号的信息量和该信源符号的平均信息量。
　　解：符号A和符号B的信息量 　　符号C的信息量 　　符号D的信息量 　　平均信息量（熵） 　　当信源为连续信源时，平均信息量可表示为 （5）　　其中 为连续信源的概率密度函数。




标签：

相关内容推荐：