信息理论与编码

信息理论与编码期末考试资料

第一讲

1、信息论与编码的关系（重要）

信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系

通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？

摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义

这三个救急信号是摩尔斯码里的“ ——— ”，不是英文缩写。

5、信息论的发展简史

1917年频分复用（载波）；

1924年采样定理；模拟—数字信号

1932年摩尔斯电报系统；

1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。

6、什么是加密编码？举例说明。

利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。

7、编码需要解决通讯中的哪三个问题？

1) 压缩数据；

2) 检错和纠错；

3) 通讯过程中的加密。

8.加密编码在信息通讯中的作用。举例说明（重要）

1）网上银行 数字证书

2）二次世界大战 美国人没有破译日本人的密码 就会有更多人牺牲

IT时代信息的保密十分重要

1、什么是信息科学、信息论

信息科学是研究所有信息现象的一门学科，信息论研究通讯中的信息传递、加密、压缩、纠错。

2、信息论和信息科学的关系、区别（重要）

信息论只要讲通讯里的信息处理问题（如信息传递、加密、收缩、纠错），范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。信息论是信息科学中的一部分。

3、信息科学研究的范围和具体内容

信息科学研究通信中的信息和信息的获取、传递、认知、再生、施效、组织等所有信息现象。 第三讲

1、信息的定义（重要）

信息理论与编码期末考试资料

维纳的信息定义——信息就是信息，不是物质也不是能量。

仙农的定义——用来减少随机不定性的东西。

我们自己的定义——信息是内容和载体的统一体，指代了内容的载体就是信息。

2、信息的三要素以及它们之间的关系（重要）

信息三要素：载体、内容、指代；

内容：传输的信息，指代的原像；

载体：物质、场；

指代：编码

区别：同一载体可指代不同内容，同一内容也可指代不同载体。载体是物质的，内容是精神的，内容通过指代到载体。

举例说明：红色 可以指代颜色和危险不同的内容 苹果在中文英文西班牙文中都是不同的

3、成为载体的三个必要条件（重要）

必须是物质的、有两种以上可分辨状态、在时空位可排列和展开。

举例说明：文字、语言、手势、结绳、烽火、01码、盲文 第四讲

1、什么是符号集、时空位？符号集中的符号与时空位的区别？举例说明。（重要） 符号集就是由符号组成的集合，例：英文26个字母、汉字、0到9阿拉伯数字； 时空位就是通讯过程中的一个时空的点，其有不同的可分辨状态。

这个时空点可填充不同符号，例：一排红绿灯中的某个灯、7位ASCII码中的一位。 时空位是指信息中一个时空的位置，即存放编码符号集的位子。

2、什么是信息序列、信息流？

信息序列：指代了内容的时空位序列；

信息流：信息序列随时间变换，由时空位构成的指代了内容信息载体。

3、什么是信源、信宿以及信道？举例说明（重要）

信源——信息的产生和发送者，例：嘴；

信宿——信息接受者，例：耳朵；

信道——信源与信宿之间的信息传输媒介，例：空气。

信宿 分为无能和万能（可以理解接受所有信宿） 人不是无能因为他可以接受声音等，她也不是万能，因为他不能接受红外线。

4、信息如何分类？

① 语法信息、语义信息、语用信息；② 自然信息、编码信息；③ 离散信息、连续信息。

5、通讯中有哪三种编码？

信源编码、信道编码、加密编码。

6、信源编码与信道编码之间的关系、区别（重要）

信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。

7、什么是调制与解调？为什么要调制与解调？（重要）

调制就是将需要传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。 原因：

1) 因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地

发射，必须把低频信号加载到高频信号上去；

2) 可实现N个人和N个人之间的通讯。

信息理论与编码期末考试资料

1、什么是载体和内容信息量？

载体信息量：载体最大能承载的信息量；

内容信息量：内容包含的信息的多少。

2、物理量的一般定量方法的三个步骤（重要）

1) 寻找一个单位，单位保证不变，容易获取以及测量，不能消失；

2) 将待测量与单位比较，得到倍数关系；

3) 用测量倍数和单位得到测量值。

举例 速度单位30万公里/秒

3、信息的单位及换算关系

信息单位：

1) 状态数（个）；

2) bit（以二为底的对数）；

3) det（以十为底）；

4) nat（e）。

换算关系：用N的单位为种，I的单位为位bit，换算公式为 I=log2N（bit）

4、什么是Hartley公式？其单位是？

1928年Hartley载体信息公式：I=log2N（bit），N为可分辨状态数。

5、如何来计算一张光盘的信息量？

光盘中有n个时空位，每个时空位有b种表示，则光盘的信息量为:

N=b（种），I=nlognb（bit）

6、如何提高一张光盘存储信息量？

光盘储存信息量的决定因素为: