信息理论与编码(2)

1) 时空位的密度——增加时空位的密度；

2) 一个时空位上的可分辨物理状态数——提高一个时空位上的可分辨物理状态数。 可据以上两个因素提高光盘储存信息量。

第六讲

1、十个天干和十二个地支分别是什么？今年、明年是什么年？

天干：甲、乙、丙、丁、戊、己、庚、辛、壬、癸；

地支：子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。

天干地支组合成如下六十个计时序号，作为纪年、月、日、时的名称，叫干支纪年法；用六十甲子依次纪年，六十年一个轮回。

今年是庚寅年，计算方法：天干——年数减3，除以10所得余数；地支——年数减3，除以12所得余数。

明年是辛卯年。

2、易经中表示阴、阳的符号分别是什么？64卦和二进制的关系式？

阴：--；阳：-；

64卦对应的是：六位二进制编码；信息量= 6（bit）

3、什么是内容信息量？其公式是？（重要）例题

n

信息理论与编码期末考试资料

内容信息量：指代原像的多少，内容对应的状态数对数的个数；

计算公式为：I=log2N（bit），N为内容的可分辨状态数。

第七讲

1、什么是满指代、冗余？

满指代：每一个载体状态上都指代了内容。

冗余：载体里有一部分没有指代内容。

2、为什么符号集中的符号等概率使用时，符号集中的符号利用率最高？

根据Shannon熵公式极值性有

H（p1， ，pN）≤H(11, ，)=logN NN

由此可见，符号集中的符号等概率使用时，符号集中的符号利用率最高。

3、什么是符号集的概率模型？

模型：符号集状态可能性的模型。

条件概率：有事件A、B，其中P(A)＞0，在A事件发生的条件下，B事件发生的概率记为P(B/A)。

4、什么是信息熵？其公式、含义、单位 （重要）例题

信息熵：有一定概率分布的符号集,在一个时空位上的平均载体信息量。

1(bit) 公式： H(P) Pilog2Pii 1

含义:符号集在一个时空位上平均载体信息量。Pi是符号Xi出现的概率,n1是以Pi为等概Pi

率的符号集中符号的个数, log2

1是以Pi为等概率的符号集的载体信息量。 Pi

第八讲

1、 符号集的概率空间如何获得？举例说明。

概率空间由统计获得。

xP(x) 1

P1x2P2n...xn ，其中0≤Pi≤1， Pi=1。 ...Pn i 1

2、什么是Shannon第一定理？(重要)

给出了离散无记忆信源，无失真条件下，信息的压缩编码极限。设Cs为载体信息量，Cc为需要传递的内容信息量，则通过信息编码得到的信源无失真的充要条件是： Cs≥Cc。

3、哈夫曼编码及其步骤？举例说明。(重要)大题

哈夫曼编码是一种编码方式，一种可变长编码。

步骤：

1) 将信源符号集的N个符号概率从大到小排列；

信息理论与编码期末考试资料

2) 用0和1代表两个概率最小的信源符号，0指代给二个符号中的大概率还是小概率可任

意选择，但编码过程中必须保持一致。将两个概率最小的符号合并成一个符号，合并后符号的概率为两个符号概率之和。将合并后的符号与原有符号组成新的符号集（N-1），这个新符号集称为缩减符号集；

3) 将缩减信源符号集中的符号再按概率从大到小排列，并且用0、1表示两个概率最小的

符号。然后将这两个最小概率符号再合并成一个符号，和其余符号构成N-2的缩减符号集；

4) 以此类推，最后缩减为只有两个符号的缩减符号，将0,1,赋于这两个字符；

5) 从最后一个缩减符号回溯得到的二进制码序列即为哈夫曼编码。

4、哈夫曼编码的特点是什么？为什么哈夫曼编码能压缩数据？

特点：

1) 可以保证概率大的信源符号对应短码，概率小的对应长码；

2) 哈夫曼编码并非唯一；

3) 哈夫曼编码对不同的信源的编码效率不同；

4) 对信源进行哈夫曼编码后，形成一个哈夫曼编码表。

解码时，必须参照这一哈夫编码才能正确译码。

因为当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据，数据压缩实质上是减少信息冗余量，冗余量的减少可以减少数据量而不减少信源的信息量。

第九、十讲

1、什么是物理信道？举例说明？(重要)

由物理实体构成的信道，如：双绞线、同轴电缆、光纤、空气、真空等。

2、什么是信息传输速率？

单位时间内在信道中传输的载体信息量，用Rt表示，单位：bit/s

3、什么是无噪声物理信道容量？

物理信道内可达到的最大信息传输速率，用Cw表示，单位：bit/s，Cw=max（Rt）

4、什么是噪声平均误码速率、有噪物理信道容量？

单位时间内，由于噪声干扰而产生的错误载体信息量，用RN表示，单位：bit/s 单位时间内可正确接收的最大载体信息量，Cw=max（Rt-RN）bit/s

5、决定有噪物理信道容量的因素是什么？(重要)

1) 信道载体的时空位密度（与技术有关）；

2) 噪声水平（与环境有关）。

6、什么是数学信道？举例说明(重要)

数学信道：由数学模型决定的信道。 举例 对称信道

7、什么是信息传输码率？

在信道中一个时空位可传输的载体信息量，用R表示，单位为：bit/时空位

8、什么是噪声平均错误码率？

在信道中，由噪声引起的一个时空位中的错误信息量，用RN表示，单位bit/时空位。

9、什么是数学信道容量？

信息理论与编码期末考试资料

在数学信道中一个时空位最大可正确接收的载体信息量，用C表示，单位为bit/时空位

10、什么是Shannon第二定理？(重要)

在有噪声数学信道中，无失真信道纠错编码存在的充要条件是R≤C，其中R为信息传输码率，C为信道容量，R=C为编码极限。

11、什么是奇偶检验码？举例说明,奇偶校验码能检几位错误码？能纠错吗？(重要)大题 一种通过增加冗余位使得码字中“1”的个数恒为奇数或偶数的编码方法，它是一种检错码，是信道编码的一种。

例：需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的奇偶检验码分别为赵-0000、钱-1001、孙-0101、李-1100、周-0011、吴-1010、郑-0110、王-1111

奇偶校验码可以检查出一位错误，不能纠错。

12、什么是重复码？举例说明。n次重复码（n为奇数）时可检出几位错误码？可纠正几位？(重要)大题