信息论与编码

题 目 信源编码与信道编码的研究 学 院

专 业 学 号

姓 名

信源编码与信道编码的研究

摘要 本文概述了信源-信道联合编码的研究。首先引入了信道编码的概念，介绍并

分析了信道编码与信源编码的要求及工作原理；然后介绍了信源编码的概念及其作用；最后对信源-信道联合编码的适用环境、研究方向、关键技术、研究热点做出介绍。随着信息技术的不断发展，信源-信道联合编码的研究对抗噪声的抵抗研究必将更加体现其价值。

关键词：信源、信道、联合编码、研究、发展 1.前言

“信息论”又称“通信中的数学理论”，是研究信息的传输、存储和处理的科学。通信的根本目的是将消息有效而可靠地从信源传到信宿。

信源编码的目的在于提高系统的有效性（传信率越高失真越小）。中心问题是：对一给定的信源，在失真度确定的条件下，使得失真满足要求所需的最低传信率；在传信率确定的情况下，系统所能达到的最小失真。

信道编码理论核心是提高系统的可靠性。中心问题：寻求一种适当的编码手段，在一定的传信率条件下，通过有规律地增加冗余度保证消息以尽可能小的差错概率从信源传到信宿

[1]

。

长期以来，在香农的信源信道分离理论的指导下，信源编码理论和信道编码理论都取得

可喜成果。但是当前的分离理论仅适用与点对点通信系统，并假定系统可容忍无限长的传输时延和预先掌握信道统计特性。在当前，图像/视频实时业务，无线和IP网络信道的时变性，原分离的信源信道理论已经无法满足实际的通信需求。而建立在香农的全局率失真理论之上的信源-信道联合编码理论应运而生。如图1信源信道联合编码框图[2]。

图1-1 信源信道联合编码图

2.信道编码的基本概念

信道编码是为了与信道的统计特性相匹配，并区分通路和提高通信的可靠性，而在

信源编码的基础上，按一定规律加入一些新的监督码元，以实现纠错的编码。 信道编码的本质是增加通信的可靠性，或者说增加整个系统的抗干扰性。纠错编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的。 对信道编码的要求：

（a）通透性：要求对所传信息的内容不加任何； （b）有与信道相适应的频谱特性； （c）有纠错能力；

（d）效率高：为了与信道频谱匹配和具有纠错能力，通常要向原信号添加一些码，要求加入最少的比特数而得到最大的利益； （e）包含适当的定时信息； （f）包含适当的信号电平信息； （g）包含帧同步信息； （h）差错扩散度低。

在这些要求中，除编码的必须信息外，所做的处理主要有两条：一是要求码列的频谱特性适应通道的频谱特性，从而使传输过程中能量损失最小，提高信号能量与噪声能量的比例，减少发生差错的可能性；二是增加纠错能力，使得即便出现差错，也能得到纠正。前者要用到频谱成形技术，后者则要用到检错纠错编码。

信道编码大致分为两类 ：

①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题；

②构造性的编码方法以及这些方法能达到的性能界限。

信道是指传输信号的通道。但是, 经过信源编码后并不能将信号直接送到传输通道发送出去, 因为数字信号在传输中受到衰减、杂波、干扰等所造成的质量劣化是突变性的 (模拟信号质量的劣化是渐变的) , 也就是说,数字信号在衰减、杂波或干扰没有低于某一门限时, 只要接收设备能判别出0码和1码, 信号质量就不会受到大的影响, 而一旦超过此门限, 接收设备判别不出0码和1码, 信号就会丢失。因此, 在数字信号传输中

最重要的是防止误码, 也就是要尽量降低误码率。因此, 在数字信号传输中要在信号源的原数码序列中以某种方式加入某些作为误差控制用的数码 (即纠检错码) , 以实现自动纠错或检错的目的, 这就是信道编码或纠错编码。 由此可见, 信道编码目的了降低信号的误码率, 提高信号传输的可靠性。

在我国大部分上星的节目中, 都采用了前向纠错的方法 (FEC) , 即在发送端按照一定规则, 在信号数码中加入一定的控制误差用数码, 以组成具有纠错能力的码, 接收端收到后, 按预先的规则进行解码, 确定信息中有无错误, 若

有错误, 确定其位置并进行纠正。在日常中, 我们使用两级编码。其中一级采

表1

用R eed- so lomon 编码 (简称RS码) , 其特点是主要纠正与本组有关的误码, 且对纠正突发性误码很有效。另一级采用卷积编码, 其特点是除能纠正本组的误码外, 也纠正其它组的误码, 卷积编码可以采用不同的比率, 在DVB 标准中, 规定5种比率(即 12、23、34、56、78)。 我国的北京、山西、河北等省的上星节目采用12卷积编码比率。

在RS码和卷积码之间, 有一个交织器, 其主要完成信号数码序列的交织作用。因为当信号受到突发性干扰时, 不仅干扰个别字节, 而且会干扰一串字节, 造成一片数码都出错, 错误集中在一起, 可能会超出纠错码的纠错能力, 交织作用可以将错误分散开, 目的

是使解码器能有效纠错, 由于在发送端进行了数码交织, 接收端就要相应地进行去交织, 恢复其本来的数码顺序。

当然, 一套节目要顺利上星, 信源编码和信道编码只是其中的一部分, 信号还要经过AD转换, 复用、调制、变频、发射等环节。随道卫星技术及数字视频技术的飞速发展, 今后将会越来越多的融入到我们的生活中来。

在通信中信源编码、信道编码和数据编码常常同时使用[1]，信道编码能够使通信系统获得编码增益，从而提高通信的可靠性。通信系统通常具有给定的误码率指标要求，这一指标是系统译码后最终能达到的误码率指标要求，对应的译码前传输误码率因编码方式不同而异，一种好的信道编码方式应具有较强的纠错能力，从而允许译码前产生相对较大的误码率，对应系统传输所需的比特能量噪声密度比较小，与非编码传输相比所节省的比特能量噪声密度比就是系统所获得的编码增益。采用较强纠错能力的编码方式允许信号在传输过程中产生大于系统指标的误码率，使得系统在降低载噪比的情况下仍然能达到误码率指标要求，因此提高编码增益可以提高系统的可靠性和降低系统成本。

数字信号纠错编码：数字序列在信道中传输时，由于信道衰减及噪声（随机热噪声、冲击噪声）的干扰，在接收端恢复信息序列时，将出现误码。提高信噪比可以降低误码，但提高信噪比往往受到信道带宽及信号功率的。技术实践表明，为了提高电视图像信号的传输质量，采用抗干扰的纠错编码也是必不可少的。

3.信源编码的基本概念

为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相；②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。

信源编码的作用

信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。

信源编码方式 最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。 另外，在数字电视领域，信源编码包括 通用的MPEG—2编码和H.2

（MPEG—Part10 AVC）编码等相应地，信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。

4.信源信道编码国外研究状况

1979年——提出信源信道联合编码[3]。 近年来——

K.Sayood等人，研究利用压缩编码后信息的先验后验信息向译码器传递信息。

F.R.K schischang和B.J.Frey等人，提出因子图形并提出一种针对全局函数边界计算的一

般性算法。

I.Kozintsev等人，提出一种基于因子图形框架，同时包含信源与信道编码的全局图形模型

（还用到冗余信息存在准则和和积准则）。

J.Hagenauer等人，提出一种基于变长译码的变长软译码算法。

Banister等人，提出针对JPEG2000信源编码和Turbo信道编码的联合方法。 Hamzaoui等人，提出互联网和无线信道下传输内嵌图像的联合编码方法； 且采用局部搜索算法对信源信道进行最优化不等差错保护。 Rabiner等人，提出结合隐性马尔科夫信源和低密度奇偶校验码的联合方法。 Lisimachos等人，提出基于DCT和运动补偿分级视频编码和传输的联合方法。 Kiewer等人，提出变长编码信源和信道编码并行级联的鲁棒性传输算法。

5.信源-信道联合编码适用环境

资源受限的通信系统 实现资源最优化。资源包括数据传输时的速率和带宽，系统复杂度，功率，延时。

多用户共享信道的通信系统 实现信道容量的利用最大化。如蜂窝移动通信系统。由于多个用户是通过统计时分或者码分等复用方式共享信道，这样便造成一个用户的信源信息，可能是另一个用户的信道噪声的问题。（不适用于多源接入信道）[4]。

异质信源、异类信道或异种用户共存通信系统 异质信源指多媒体通信中，对于信道误码和传输延时要求不同的数据。异类信道指同一通信网下，包括信道的速率、误码率、时延或时延抖动在内的信道质量相差很大的信道。异种用户指同一通信系统中，服务质量要求不同的用户。

时变通信系统 由于时变系统的信源和信道的先验概率分布不可能准确获得，这样便不可能实现，在分离方式下，系统达到最优。

6.信源-信道联合编码研究方向

基本理论研究 一方面、理解质量（初始数据和还原数据差异）、延迟、计算复杂度、信道利用率（信道数量、宽度和信噪比）和消耗功率之间的关系；另一方面、联合编码评估方法研究。

具体设计方法的研究[5]

第一、信源-信道编码器的联合设计。该法侧重与在发送端根据信源和信道的统计特性来完成设计，包括基于信源优化的信道编码和基于信道优化的信源编码。

第二、信源-信道联合解码器设计。该法侧重于在信宿端分析并利用信源编码器输出的残存冗余信息来阻止传输比特差错的传播，也可以作为先验知识用于信道译码器软输出译码的边信息。

第三、信源-信道码率分配研究。它是在给定信道码率下，信源和信道编码率的最优化

分配策略。当总比特率（=信源编码速率+信道编码速率）一定，信源编码率增加，有损压缩造成的失真减小；信道编码速率减小，信道编码冗余量减少，信道噪声造成的失真提高。

7. 联合编码关键技术

残留冗余（额外比特率）技术 即在有噪信道且不额外增加传输比特条件下，调整编码器以提高信道鲁棒性。（由于香农编码理论存在：不能去除所有冗余问题；在有噪信道和衰落信道信道编码方法不充分的局限。）[6]

不等差错保护技术（自适应纠错技术） 即根据数据的重要性不同，信道编译码采用不同的纠错保护策略，使误码率降到最低。又称分集接收技术[7]。

基于软输入软输出的联合译码技术 该法利用传输信道的状态信息、信源的先验信息以及信道译码器的软输出来进行软信源译码[8]。

基于因子图形的联合译码技术 因子图形是一种双向图形，是把一个全局变量，使用特定的方法变换成几个局部函数乘积式子。传递算法描述：图形中每个节点都可看作活动的处理单元，且能执行和该节点相关的信息和局部函数的计算。节点间的连线完成信息的发送和接收。

联合优化技术 该联合编码可被认为是一种隐马尔可夫过程模型（用状态条件概率代替无记忆信道的转移概率）。（包含状态估计、最小均方差估计和信道状态和参数估计）[9]

网格量化联合优化技术 网格量化编码和网格编码调制，可降低系统复杂性，改善失真性能，并且使信道噪声有适中的鲁棒性。

8.信源-信道联合编码研究热点

分层编码 即是基于信源优化信道设计编码。它把信源编码分成包含图像中的粗糙的但对于识别重要的信息即最重要部分和包含提高图像质量要求的更精细的信息的次重要部分

[10]

。

采用LDPC码的联合译码 它是一种融合隐马尔可夫信源估计和低密度奇偶校验（LDPC）

编码的联合编码方法[11]。

Turbo码 又称并行级联卷积码，是信道纠错码的一种，实现卷积码和随机交织器的结合，达到可随机编码的效果。同时采用软输出迭代译码来逼近最大似然译码。

多描述编码 信源端产生若干码流且每一码流即为信源一种描述；信宿端可通过不同信道接收到一个或多个描述，解码器根据描述的多少给出恢复信源的精细程度[12]。

9.信源信道联合编码系统框架

图8-1 联合编码的系统框架[13]

9 图像编码算法及其图像压缩标准

图9-1 图像编码的分类[14]

图9-2 多媒体图像编码分类

10 图像/视频编码的国际标准

图10-1图像/视频编码的国际标准[15]

名称 标题 制定者 应用场合 中视频会议 H.261 Video Code for Audio Visual Services at p×kbps JBIG Progressive Bi-level Image Compression JPEG Digital Compression and Coding of Continuous-tone Still Image MPEG-Coding of Moving Picture and 1 Associated Audio for Digital Storage Media up to 1.5Mbps （ISDN）ITU-T 综合业务数字网JPEG 传真，打印 图像/视频编JPEG 数字照相、辑等 MPEG 光盘存储、家用视频摄像、视频监控 MPEG-2 H.263 H.263+ MPEG-4 H.263++ JPEG2000 Generic Coding of Moving Pictures and Associated Audio Video Coding for Low Bit Rate Communication Coding of Audio-Visual Objects Video Coding for Low Bit Rate Communication JPEG2000 Image Coding System MPEG 数字电视、DVD、高清晰度电视、有线电视及其卫星电视、视频点播 ITU-T 桌面可视电话、移动视频通信 MPEG 视频会议、交互式视频通信、便携式视频通信终端、专业视频 频通信 ITU-T 桌面可视电话、移动视JPEG 传真、电子商务、卫星通信、遥感图像编码、IP网络图像监控 有线电视、无线视频通信、分组网络的视频流传输、IP视频会议系统、光盘存储、高质量视频编解码系统、多媒体邮件等 H.2 Joint Video Specification (ITU-T Rec.H.2|ISO/IEC 14496-10 AVC) JVT 结论

信源编码的目的在于提高系统的有效性（传信率越高失真越小）。中心问题是：对一给定的信源，在失真度确定的条件下，使得失真满足要求所需的最低传信率；在传信率确定的情况下，系统所能达到的最小失真。

信道编码理论核心是提高系统的可靠性。中心问题：寻求一种适当的编码手段，在一定的传信率条件下，通过有规律地增加冗余度保证消息以尽可能小的差错概率从信源传到信宿。

结束语

随着计算机技术的发展,人类开始进入数字化时期。作为数字技术当中的重要构成部分之一,数字图像技术将我们带入多媒体时代。在无线信道中(包括个人通信系统及卫星通信系统)如何传输视频和图像已成为人们关注的一大焦点．无线信道给人们带来的巨大挑战，也给通信的发展带来了广大的发展前景。 参考文献

[1] 周炯磐.信息理论基础.北京：人民邮电出版社，1983 [2] 钟义信.信息科学原理.北京：北京邮电大学出版社，1996 [3] 王圣谊等编译.信息工程.长沙：湖南大学出版社，1987

[4] 姜丹，钱玉美.信息理论与编码.合肥：中国科学技术大学出版社，1992 [5] 朱雪龙.应用信息论基础.北京：清华大学出版社，2001 [6]陈运.信息工程理论基础.成都：电子科技大学，19 [7] 陈运.信息理论与编码.成都：电子科技大学，1996

[8]S G Wilson.Digital Modulation and Coding.电子工业出版社，1998 [9] 傅祖芸.信息论基础.北京：电子工业出版社，19 [10]姜丹.信息论与编码.合肥：中国科学技术大学出版社，2001 [ 11]傅祖芸.信息论—基础理论与应用.北京：电子工业出版社2001 [12]陈运.信息加密原理.成都：电子科技大学出版社，1996

[13]Williams Stanllings，孟庆树等译.密码编码学与网络安全：原理与实践（第四版，中文 版）. 北京：电子工业出版社，2006

[14]钟家恺等.通信原理教程.北京：科学出版社，2003

[15] 吴家安等.语音编码技术及应用.北京：机械工业出版社，2006