我【信息论】信源与信源熵（一）

— 主要内容

1. 信源的分类与描述

2. 离散信源的信息熵和互信息

3. 离散序列信源的熵

4. 连续信源的熵与互信息

5. 冗余度

2.1 信源的分类与描述

— 信源的定义

产生消息（符号）、消息序列和连续消息的来源。

信源的基本特性是具有随机不确定性

l 分类

1. 时间 离散 连续

2. 幅度 离散 连续

3. 记忆 有 无

n 介绍三类信源

Ø 单符号离散信源

Ø 符号序列信源（有记忆和无记忆）

Ø 连续信源

一．单符号离散信源

单符号离散信源：用随机变量X来描述

X的概率空间

二．符号序列信源

离散序列信源：用随机向量XL描述

以3位PCM信源为例

三．连续信源

连续信源：用随机过程x(t)描述

px(x)不再是概率分布，而是概率密度分布函数

2.2 离散信源熵与互信息

— 信息量

自信息→平均自信息→符号熵

联合自信息→平均联合自信息→联合熵

条件自信息量→平均条件自信息→条件熵

— 单符号离散信源熵

符号熵

条件熵

联合熵

一．自信息量

1. 定义

对于给定的离散概率空间表示的信源，x=xi事件所对应的（自）信息为

I(xi) = - logp(xi)

以2为底，单位为比特（bit)

以e为底，单位为奈特（nat)

1nat=1.433bit

以10为底，单位为笛特（det)

1det=3.322bit

2. 性质

u 两种特殊情况

l p(xi)=1，确定事件，信息量I(xi)=0

l p(xi)=0 ，I(xi)=无穷，概率为0的事件带来极大的信息量

u I(xi) ≥0，非负性

u I(xi)是p(xi)的单调递减函数

u xi是一个随机量， I(xi)是xi的函数，也是随机变量，没有确定的值

Question？

自信息量I(xi)能反映整个信源的不确定性吗？

如果不能，那用什么量来反映呢？

3. 平均自信息量——信息熵H(X)

Answer：

用自信息量的平均值来描述

算术平均值

数学期望：加权平均值

1. 定义——信息熵

对于给定离散概率空间表示的信源所定义的随机变量I(xi)的数学期望（加权平均值）

2. 熵的物理含义

H(X)表示信源发出任何一个消息状态所携带的平均信息量

也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量

熵的本意为热力学中表示分子状态的紊乱程度

信息论中熵表示信源中消息状态的不确定度

信源熵与信息量有不同的意义：

l H(X)表示信源X每一个状态所能提供的平均信息量

l H(X)表示信源X在没有发出符号以前，接收者对信源的平均不确定度

l H(X)表示随机变量X的随机性

二．条件自信息

联合集XY中，在事件yj发生的条件下，关于事件xi的条件（自）信息量为：

I(xi/yi) = - logp(xi/yi)

平均条件自信息量——条件熵

— 定义：

联合集XY上，条件自信息量I(xi/yj)的概率加权平均值

— 如何求平均？

先在X集合上求平均（此时，在yj事件发生的条件下）

再在Y集合上求平均

三．联合自信息

1．定义：

联合概率空间中任一联合事件的联合（自）信息量为：

I(xi,yi) = - logp(xi,yi)

当X和Y相互独立时，

2. 联合熵

联合集XY上，每对事件的自信息量的概率加权平均值定义为联合熵。

— 单位为比特/序列

— 将联合事件xiyj作为一个随机事件求平均不确定度

四．熵函数的性质

熵函数可表示为

非负性 H(X) ≥0

对称性

概率矢量中的各分量的次序任意变更时，熵值不变

确定性

信源概率空间中，任意一个概率分量等于1，其它概率分量必为0

信源为确知信源，其熵为0

连续性扩展性最大熵定理

条件熵小于无条件熵

推广：多条件熵小于少条件熵

条件熵小于无条件熵

五．几种自信息量之间的关系

— 自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性。

— 三者都是随机变量，其值随着变量xi和yj的变化而变化。

— 关系式：

六．几种熵之间的关系

小结：

— 一共介绍了

— 自信息量ß---->平均自信息量

— 联合自信息量ß---->联合熵

— 条件自信息量ß---->条件熵

— 引入另一个很重要的概念——互信息

— 涉及到信息的交互

七．互信息

1.定义

接收端收到集合Y 中的一个消息符号yj后，重新估计关于信源的各个消息xi发生的概率，为条件概率p(xi / yj)，即后验概率。

互信息量=不确定程度的减少量

— 通信前

将信道看成关闭，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X、Y统计独立。根据概率的性质，输入端出现xi和输出端出现yj的概率为：

此时，先验不确定度为

— 通信后

输入随机变量X和输出随机变量Y之间由信道的统计特性相联系。输入端出现xi和输出端出现yj的联合概率为

此时，后验不确定为

— 则，通信后流经信道的信息量等于通信前后不确定度的差，即yj带来关于xi的信息量：

互信息量定义为自信息量减去条件自信息量的差：

2.性质

1) 互易性：I(x;y) = I(y;x)

2) 互信息量可为0

3) 可正可负

4) 任何两个事件之间的互信息量小于其中任一事件的自信息量

3.平均互信息

— 联合集XY上求加权平均和

先在X集合上求平均

再在Y集合上求权平均值

综合一下，平均互信息量

在联合概率空间P(XY)中的统计平均值

4.平均互信息的性质

u 非负性：I(X;Y) ≥ 0

u 互易性：I(X;Y) =I(Y;X)

u 与熵和条件熵及联合熵关系

I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = H(X) + H(Y) –H(XY)

u 极值性

互信息量总是小于等于自信息量

接收者收到的信息量不可能大于信源发出的信息量

只有当信道为无噪声信道时，接收信息量才等于信源发出的信息量。

u 凸性函数性质

l 上凸性

n 当条件概率p(yj/xi)给定时，平均互信息量I(X;Y)是信源概率分布p(xi)的∩型上凸函数

n 极大值

n 信道容量C：对于给定的信道，总可以找到一个先验概率分布为pm(xi)的信源，使得平均互信息量达到最大值

n 这个信源为该信道的匹配信源

l 下凸性

n 当信源X的概率分布p(xi)保持不变时，平均互信息量I(X;Y)是条件概率分布p(yj/xi)的∪型下凸函数

n 极小值

n 信息率失真函数R(D)

u 信息不增性原理

l I(X,Y;Z)=I(X;Z)+I(Y;Z/X)

l I(X,Y;Z)=I(Y;Z)+I(X;Z/Y)

l 则有：I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X)

l 假设在Y条件下X与Z相互独立

n 即I(X;Z/Y)=0，且I(X;Y/Z)和I(Y;Z/X)均非负

n 则有：I(X;Z)≤I(Y;Z) I(X;Z)≤I(X;Y)

l I(X;Z)≤I(Y;Z) I(X;Z)≤I(X;Y)

l 含义

n 当消息经过多级处理时，随着处理级数的增多，输入消息和输出消息之间的平均互信息量趋于变小。

l 数据处理定理

n 数据的处理过程中只会失掉一些信息，绝不会创造出新的信息

n 信息不增性

Ø 疑义度

n I(X,Y)=H(X)-H(X/Y)

n 表示接收者收到Y后，对信源X仍然存在的平均不确定度

n 对于接收者来说，H(X)称为先验不确定度，H(X/Y)称为后验不确定度。

n 平均交互信息量等于不确定度的变化量

Ø 噪声熵

n 扩散度，噪声熵

n I(X,Y)=H(Y)-H(Y/X)

n 表示发信者发出X后，对信道输出Y仍然存在的平均不确定度

n 对于发信者来说，H(Y)称为先验不确定度，H(Y/X)称为后验不确定度。

n 平均交互信息量等于不确定度的变化量

Ø 联合熵（共熵）

l I(X,Y)=H(X)+H(Y)-H(X,Y)

l 表示通信完成之后，观察者对通信系统仍然存在的平均不确定度

l 对于观察来说

n H(X)+H(Y)称为先验不确定度

n H(X,Y)称为后验不确定度

l 平均交互信息量等于不确定度的变化量

l I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)