《第3专题1聊城大学.ppt》由会员分享，可在线阅读，更多相关《第3专题1聊城大学.ppt（99页珍藏版）》请在课桌文档上搜索。
1、第三章 离散信道及其信道容量,第一节 信道的数学模型及分类,第二节 平均互信息及平均条件互信息,第三节 平均互信息的特性,第四节 信道容量及其一般计算方法,第五节 离散无记忆扩展信道及其信道容量,第六节 信源与信道的匹配,第一节 信道的数学模型及分类,1、信道的分类：,根据信道用户的多少，可分为：,（1）单用户信道：只有一个输入端和一个输出端，单向通信,（2）多用户信道：至少有一端有两个以上的用户，双向通信,根据输入端和输出端的关联：,（1）无反馈信道:输出端信号对输入端信号无影响、无作用,（2）有反馈信道：信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化,根据信道参
2、数与时间的关系：,（1）固定参数信道：信道的参数不随时间变换而改变,（2）时变参数信道：信道的参数随时间变换而变换,根据输入输出信号的特点：,（1）离散信道：输入和输出的随机序列的取值都是离散的信道,（2）连续信道：输入和输出的随机序列的取值都是连续的信道,（3）半离散半连续信道：输入序列是离散型的但相应的输出序列是连续的信道，或者相反。,（4）波形信道：信道的输入输出都是时间上连续的随机信号,根据这一模型，可对信道分类如下：,设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X=x1，x2，输出符号集：Y=y1，y2，信道转移概率
3、：P(Y/X)=p(y1/x1),p(y2/x1),p(/x1),p(y1/)p(/),2、离散信道的数学模型,描述输入信号和输出信号之间的统计依赖关系，反映信道的统计特性,（1）无干扰（无噪）信道：输入信号与输出信号有一一对应关系,（3）有干扰有记忆信道：这是最一般的信道，信道中不仅有干扰，并且某一瞬间的输出符号不仅与当前时刻的输入有关，而且还与其他时刻信道输入符号及输出符号有关。,（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；,单符号离散信道的输入变量为X，取值于输出变量为Y，取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数
4、学模型可以用概率空间X,p(y|x),Y来描述。,3、单符号离散信道的数学模型,表示成矩阵形式：,X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;,例1 二元对称信道（BSC）,X=0,1;Y=0,2,1,0 1-p 0,p,p,1 1-p 1,2,例2 二元删除信道（BEC）,由此可见，一般单符号离散信道的传递概率可以用矩阵表示,为了表述简便，可以写成,4.一般单符号离散信道的一些概率关系,（1）联合概率,其中,称为前向概率，描述信道的噪声特性,称为后向概率，,有时也把 称为先验,概率，把 称为后验概率,（2）输出符号的概率,（3）后验概率,表明输
5、出端收到任一符号，必定是输入端某一符号输入所致,1、信道疑义度,这是收到 后关于X的后验熵，表示收到 后关于输入符号的信息测度,这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。,第二节 平均互信息及平均条件互信息,I(X;Y)=H(X)-H(X/Y),2、平均互信息,其中H(X)表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差即为通过信道消除的不确定性，信道传递的信
6、息量。,（1）平均互信息,（2）互信息,互信息I（x;y)是代表收到某消息y 后获得关于某事件x的信息量。即,注意：互信息可取正值，也可取负值和0。,对于平均互信息,永远不会取负值,I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X),（3）互信息与其他的熵之间的关系,也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y),互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。,互信息与各类熵之间的关系可以用维拉图表示：,它们都是由于噪声干扰的存在而存在的。信道中存在噪声
7、干扰，是减低信道传信能力的基本原因。,H(X/Y)即信道疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵或散布度。,（4）两种极端情况的信道,无噪一一对应信道,此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合，即：,此信道输入符号和输出符号完全一一对应，因此,信道模型,这种信道的输入和输出是一一对应的，即:,因此不难证明:H(XY)=H(X)=H(Y),H(X|Y)=H(Y|X)=0在这种无干扰信道中，对应于输入符号有唯
8、一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同；在这种信道中，信息被无损地传输，故又称为“无损信道”；,输入输出完全统计独立,同理I(X;Y)=0,即,H(X/Y)=H(X)H(Y/X)=H(Y),则,信道模型,这种信道的干扰很强，以至任意一个输入符号 xi 可能等概率地被接收成任意一个 yj,即,因此可得,即,所以,这种信道的输入和输出符号没有关系，Y 知道后关于 X 的不确定性 H(X|Y)和没有 Y 时的不确定性 H(X)完全一样，信息无法传输，称为“全损信道”；,3.平均条件互信息,（1）条件互信息,已知事件,的条件下，接收到y后获得关于某事件x的,条件互信息,先验概
9、率和后验概率都是在某一特定条件下的取值，这是条件互信息与互信息的区别,已知,后，总共获得关于,的互信息,(2)平均条件互信息,例2某2元通信系统，它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接受端错成0，1/2的0在接受端错成1。问信宿收到一个消息后，获得的平均信息量是多少？,p(x1)=p(1)=1/4 p(x2)=p(0)=3/4根据题意确定p(yj/xi):p(y1/x1)=p(1/1)=5/6,p(y2/x1)=p(0/1)=1/6p(y2/x2)=p(0/0)=1/2,p(y1/x2)=p(1/0)=1/2这就叫做信
10、道特性，如果列成矩阵，就叫信道矩阵。,解：,先用公式p(xi)p(yj/xi)=p(xiyj)来计算，p(xiyj)称为联合概率。p(x2y1)=p(01)=p(0)p(1/0)=3/41/2=3/8p(x2y2)=p(00)=p(0)p(0/0)=3/41/2=3/8p(x1y2)=p(10)=p(1)p(0/1)=1/41/6=1/24p(x1y1)=p(11)=p(1)p(1/1)=1/45/6=5/24,再计算信宿端p(yj)p(y1)=p(1)=1/45/6+3/41/2=7/12p(y2)=p(0)=3/41/2+1/41/6=5/12,再利用公式p(xi/yj)=p(xiyj)/
11、p(yj)来计算后验概率p(xi/yj),p(x1/y1)=,=,=,p(x2/y1)=,=,=,p(x1/y2)=,=,=,p(x2/y2)=,=,=,现在可以计算信宿收到一个消息后所获得的信息量：,I(发0；收0)=I(x2;y2)=log,=log2,=log2,=log210/7=0.515比特/消息,=log2,(通信错误，没有消除不确定性，反而增加了不确定性，相当于得到了负消息),=log2,=log26/7=-0.222比特/消息,I(发0；收1)=I(x2;y1)=log,=log22/5=-1.322比特/消息,I(发1；收0)=I(x1;y2)=log,I(发1；收1)=I
12、(x1;y1)=log,=log25/6=0.263比特/消息,我们为了得到信宿收到一个消息所获得的平均信息量（算术平均与统计平均）：I平均=p(x2y2)I(x2;y2)+p(x1y1)I(x1;y1)+p(x1y2)I(x1;y2)+p(x2y1)I(x2;y1)=3/80.263+5/240.515-1/241.322-3/80.222=0.067比特/消息（差错率太高了）I负值?）,数学上可以证明平均信息量是非负的。,例题3.3四个等概分布的消息M1，M2，M3，M4被送入一个二元无记忆对称信道进行传输。通过编码使M1=00，M2=01，M3=10，M4=11。而BSC信道如图所示。试
13、问，输入是M1和输出符号是0 的互信息是多少？如果知道第二个符号也是0，这时带来多少附加信息量？,解：根据题意知,输入为M1和第一个输出符号0的联合概率,根据信道的特性，输出第一个符号为0的概率,由于信道无记忆,所以,若输出符号为00，可得,因此,同理，得,因此，当第一个符号为0，第二个符号也是0时所带来关于M1的附加信息,各种熵之间的关系,第三节 平均互信息的特性,1、平均互信息的非负性,I(X;Y)=0,3.通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。,证明：,结论：,1.平均互信息量不是从两个具体消息出发，而是从随机
14、变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。,2.从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加.,由条件熵的非负性很容易得到上式。,2、平均互信息的极值性I(X;Y)=H(X),I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X),证明：,I(Y;X)H(Y),结论：,1.从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。,2.当X和Y是一一对应关系时：I(X;Y)=H(X)，这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件的信
15、息，从平均意义上来说，代表信源的信息量可全部通过信道。,3.当X和Y相互独立时：H(X/Y)=H(X)，I(Y;X)=0。从一个事件不能得到另一个事件的任何信息，这等效于信道中断的情况。,3、平均互信息量的交互性I(X；Y)=I(Y；X),I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式,证明：根据互信息量的对称性I(xi;yj)=I(yj;xi),结论：,4、平均互信息的凸状性,平均互信息量的数学特性 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数定理3.2 平均互信息I(
16、X;Y)信道传递概率分布P(Y/X)的 U型凸函数,平均互信息量的数学特性,平均互信息量是p(xi)和p(yj/xi)的函数，即I(X;Y)=f p(xi),p(yj/xi)；若固定信道，调整信源，则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f p(xi)；若固定信源，调整信道，则平均互信息量I(X;Y)是p(yj/xi)的函数，即I(X;Y)=f p(yj/xi)。,I(X;Y)是 p(xi)的上凸函数,结论：,对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均交互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概
17、率对应不同的Imax。,I(X;Y)是 p(yj/xi)的下凸函数,证明过程与上面相同，只是这里是设p(x)固定，为两个不同的条件概率。,对于一个已知先验概率为批P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均交互信息量的最小值是由体现了信源本身的特性。,结论：,例：对于二元对称信道,0 1-p 0,p,p,1 1-p 1,如果信源分布X=w,1-w，则,而：,所以：,当信道固定时，平均互信息时信源分布的 型凸函数，最大只为1-H(P),例：对于二元对称信道,0 1
18、-p 0,p,p,1 1-p 1,如果信源分布X=w,1-w，则 由此可得,第四节 信道容量及其一般计算方法,信息传输率：R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)bit/符号,由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。,信道容量与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。对于二元对称信道，由图可以看出信道容量等于 1-H(P),(1)信道容量,是信道信息率,的上限，定量描述了信道（信息的）最大通过能力；,达到最大值（即信道容量,）的输入分布，称为最佳输入（概率）分布,(3
19、)信道的,与输入概率分布,和转移概率分布,两者有关，但信道容量,是信道的固有参数，只与信道转移概率,有关。,(2)使得给定信道的,解释：,研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量,关于输入概率分布,一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。,的最大值问题。,1、离散无噪信道的信道容量,（1）具有一一对应关系的无噪声信道,x1 y1x2 y2x3 y3,此时由于信道的损失熵和疑义度都等于0，所以 I(X;Y)=H(X)=H(Y)根据信道容量的定义，有 C=logr=log
20、s,表明当信源呈等概率分布时，具有一一对应的确定关系的无噪信道达到信道容量，其值就是信源X的最大熵值。这个结果还表明，信道容量只决定于信道的输入符号数n，与信源无关，是表征信道特性的一个参量。,(2)有噪无损信道（具有扩展性能的无躁信道）,此时信道疑义度为0，而信道噪声熵不为0，从而 C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr,可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道,信道矩阵是：,与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，即,(3)无噪有损信道（具有归并性能的无躁信道）,此时信道疑义度不为0，而信道噪声熵为0
21、，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs,注意：,综合以上三种无噪信道的分析，我们得出一个结论，无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关，是表征信道特性的一个参量。,如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道 如：,和,2、对称离散信道的信道容量,(1)对称信道定义,I(X;Y)=H(Y)-H(Y/X)而,H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即,因此,可以看出，当输出等概分布时，
22、即H(Y)=logs时信道容量达到。,（2）对称离散信道的信道容量,可以证明，输入等概分布时，输出也等概分布,可以看出，信道的输出也是等概分布的,例：,对于二元对称信道,重：,如果离散信道的转移矩阵如下,则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。该信道的各列之和也为1；总的错误概率是p，对称平均地分配给(n-1)个输出符号。信道矩阵为(nn)阶对称矩阵。,3.强对称离散信道的信道容量,（1）强对称信道定义,（2）对于强对称信道，其信道容量为：,若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如：,可划分为：,4、准对称信道的信道容量
23、,(1)准对称信道的定义,可分成：,（2）准对称信道的信道容量,可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：,其中r是输入符号集的个数，为矩阵中的行元素,是第k各矩阵中的行元素之和，是第k个矩阵的列元素之和,例：,可分成：,4、一般离散信道的信道容量,我们可以对输入分布求极值，得到,而：,定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足,该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。,可以利用该定理对一些特殊信道求得它的信道容量,例：输入符号集为:0,1,2,假设P(0)=P(2)=1/2，P(1)=0，则：,第
24、四节 信道容量及其一般计算方法,所以：,对于一般信道的求解方法，就是求解方程组,移项得：,令,则,若r=s，此方程有解，可以解出s各未知数，再根据,得,从而,例：,可列方程组：,解之得：,第五节 离散无记忆扩展信道及其信道容量,离散无记忆信道的输入符号集为：,则它的N次扩展信道为：,信道矩阵为：,为N次扩展信源中的一个符号,为N次扩展接收符号集中的一个符号,二元记忆对称信道为,例：二元无记忆对称信道得二次扩展信道,可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。,则它的二次扩展信道为：,根据互信息的定义,定理3.5 如果信道是无记忆的，即,则：,定理3.6 如果
25、信源是无记忆的,因此，如果信源、信道都是无记忆的,这就是离散无记忆扩展信道得信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。,第六节 信源与信道的匹配,信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余。定义：信道剩余度C-I(X;Y)信道的相对剩余度,对于无损信道，相对剩余度,一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率。这就是香农无失真信源编码理论，也就是无失真数据压缩理论。
26、无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵。这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配。这些是我们将在下一章讨论这些问题。,如何才能做到匹配呢？,小结,（一）信道的分类,单用户信道和多用户信道；有反馈信道和无反馈信道；时变参数信道和固定参数信道；离散信道、连续信道、半连续半离散信道和波形信道；有记忆信道和无记忆信道；有躁信道和无躁信道。,（二）离散信道的数学模型,1.一般离散信道（多维离散信道）,2.基本离散信道（单符号离散信道）,根据信道矩阵的特点，信道可分为：,（1）对称离散信道
27、（2）准对称离散信道（3）强对称离散信道,3.无躁信道（无干扰信道）,无躁信道,（1）无躁无损信道:一一对应关系（2）无躁有损信道：多对一关系,有躁信道：信道转移概率不是0，1分布,有躁无损信道：一对多关系，其后向概率为0，1分布；充要条件是信道矩阵中每一列有一个也仅有一个非零元素；,4.离散无记忆信道（DMC）,否则为有记忆信道；,5.离散无记忆信道的N次扩展信道,（三）离散信道的平均互信息及其特性,1.信道疑义度,2.互信息,3.平均互信息,4.平均互信息的物理含意及与各类熵的关系,（1）平均互信息与各类熵的关系,I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y
28、)-H(Y/X),（2）平均互信息的物理含意,平均互信息表示接收到输出信号的前、后关于输入信号的平均不确定性的消除平均互信息表示输入信号发出的前、后，关于输出信号的平均不确定性的消除平均互信息表示信道的输出信号和输入信号之间相互提供平均信息量平均互信息是输入信号和输出信号之间的统计依赖关系的信息量度平均互信息表示信道中平均每个符号所能传达的信息量，就是信道的信息传输率R,5.平均互信息的特性,（1）平均互信息的非负性,I(X;Y)=0,（2）平均互信息的极值性I(X;Y)=H(X),I(Y;X)H(Y),（3）平均互信息量的交互性I(X；Y)=I(Y；X),（4）平均互信息的凸状性,1 平均互
29、信息I(X;Y)是信源概率分布P(X)的 型凸函数2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数,6.I(XN;YN)与I（X；Y）的关系,如果信道是无记忆的，即,则：,如果信源是无记忆的,当离散信源和离散信道都是无记忆时，等号成立,（四）多个随机变量之间的平均互信息,1.平均条件互信息,2.平均条件互信息与熵函数和互信息的关系,（五）离散信道的信道容量,1.离散信道的信道容量,信道容量：最大信息传输率,2.计算信道容量的方法,（1）运用信道容量解得充要性,（2）运用特殊信道的容量公式求解,（3）运用r个方程求解,（六）常见信道的平均互信息和信道容量,1.无躁一一对应信道
30、（无躁无损信道）,I(X;Y)=H(X)=H(Y)C=logr=logs,2.有躁无损信道,此时信道疑义度为0，而信道噪声熵不为0，从而 C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr,3.无躁有损信道,此时信道疑义度不为0，而信道噪声熵为0，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs,4.离散对称信道,5.强对称信道,6.二元对称信道,7.准对称信道,（七）无记忆N次扩展信道的I（X；Y）和容量,（八）信道剩余度,定义：信道剩余度C-I(X;Y)信道的相对剩余度,作业,3.1,(1),(2),第三章,(3),(4),(5),返回,第三章,3.3(1),(2),返回,第三章,3.9(1),10秒钟能传的最大信息量,不能传输,返回,第三章,3.11(1)可分为：,(2)可分为：,信道2的信道容量大于信道1的信道容量,返回,
