共2页第1页 西安邮电大学课程考试自测题 课程名称：信息论基础与编码 试卷类型：（A、B) 考试专业、年级： 题号 二 三 四 五 六 七 八 九 总分 得分 阅 卷 人 一、填空(20分) 1.信息是事物运动状态或存在方式 的描述，自信息它的定义为 假设事件x的发生概率为1/64，则它的自信息为 比特/符号。 2.X,Y分别为离散无记忆信道的输入、输出变量，当X和Y统计独立时，I(X:Y)= 当X和Y 满足时，I(X:Y)=H(X)=H(Y)。 3.根据平均互信息的凸状性，平均互信息I(X:Y)是 的∩形凸函数， 在 分布时达到最大：I(X:Y)是 的U形凸函数： 4.根据输入和输出信号的特点，信道可以分为 和 5.信源编码中，根据码长是否固定可以将编码分为 和 6.(n,k)线性分组码的编码效率是 7.码字(100111010)和(111001011)的汉明距离为 ,其能纠正个错误， 如果只进行检错，能够检测 个错误。 8. (n,k)循环码码矢的i次循环移位等效于将码多项式g(x)乘 后再模 二、简答(15分) 1.信道相对剩余度定义以及物理意义 2.有噪信道编码定理 3.给出最大后验概率准则和极大似然准则的译码算法，并解释在什么条件下它们是等价的 三、证明题(10分) 证明信息熵的递增性，并解释物理意义 Hn+m+1(p1,P2,.Pn-1,41,92,9m） =Hn(p,P,.,p)+pH(,9) PnPn Pn 其中2p,124p 说明：1。拟题请用碳塑墨水钢笔书写。不要出框。除填空体、图解及特要求外一般不留答题空间
共 2 页 第 1 页 说明：1。拟题请用碳塑墨水钢笔书写。 不要出框。 除填空体、图解及特要求外一般不留答题空间。 - - 上- 装- 订- 线- - - 密- 封- 装- 订- 线- 西安邮电大学课程考试自测题 课程名称：信息论基础与编码 试卷类型：（A、B） 考试专业、年级： 题号 一 二 三 四 五 六 七 八 九 总分 得分 阅 卷 人 一、填空（20 分） 1. 信息是事物运动状态或存在方式_的描述，自信息它的定义为 ， 假设事件 x 的发生概率为 1/64，则它的自信息为 比特/符号。 2.X，Y 分别为离散无记忆信道的输入、输出变量，当 X 和 Y 统计独立时，I（X；Y）= 当 X 和 Y 满足 时，I（X；Y）=H(X)=H(Y)。 3. 根据平均互信息的凸状性，平均互信息I（X；Y）是_的∩形凸函数, 在 分布时达到最大；I（X；Y）是_的∪形凸函数； 4. 根据输入和输出信号的特点，信道可以分为_，_， _和_。 5. 信源编码中，根据码长是否固定可以将编码分为_和_。 6. (n,k)线性分组码的编码效率是 。 7. 码字（100111010）和（111001011）的汉明距离为_，其能纠正 个错误， 如果只进行检错，能够检测 个错误。 8. （n，k）循环码码矢的 i 次循环移位等效于将码多项式 g(x)乘_后再模_。 二、简答（15 分） 1．信道相对剩余度定义以及物理意义 2. 有噪信道编码定理 3. 给出最大后验概率准则和极大似然准则的译码算法，并解释在什么条件下它们是等价的 三、证明题（10分） 证明信息熵的递增性，并解释物理意义 1 1 2 1 1 2 1 2 1 2 1 1 ( , , , , , , ) ( , , , ) ( , , , ) , n m n m m n n n n n n i i H p p p q q q q q q H p p p p H p p p n m 其中： i i n p =1 q =p
总印120份 (附答题纸3页) 四、计算题(55分) 1.假设有2个离散的二元对称信道串联，并且2个二元对称信道的信道转移矩阵相同，并 X「0 设第一个信道的输入概率分布为： 17 Lpx)0.50.5 当二元对称信道的P=0.1的时候求该信道的信道容量。 (10分) S 2.离散无记忆信源 S2 S3 S4 P(s) 0.1 0.45 0.250.150.05 (a)对它进行Huffman编码 (b)求平均编码长度 (10分) 0.90.1 3.有一个二元对称信道，其信道矩 为 设该信源以1400二元符号/秒的速度 0.10.9 传输输入符号。现有一消息序列共有12000个二元符号，并设p(0)=p(1)=1/2,问从信息传 输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？ (10分) [1000011 0100101 4.己知(7,4)线性分组码的生成矩阵G= 001 0110 0001111 (a)写出其监督矩H (b)假设有信息序列(1111)和(0001)，分别求出对应的码字。 (c)当接收序列是R=(1101100),确定其译码后对应的信息序列 (15分) 5.假设高斯信源X服从N(0,1)的标准正态分布，计算高斯信源的差熵。 (10分) 1 p(x)= e 2 √2π 2.装订试卷，考生答卷时不得拆开或在框外留写标记，否则按零分计。 共2页第2页
总印 120 份 （附答题纸 3 页） 四、计算题（55分） 1. 假设有 2 个离散的二元对称信道串联，并且 2 个二元对称信道的信道转移矩阵相同，并 设第一个信道的输入概率分布为： 0 1 0.5 0.5 ( ) X p x 当二元对称信道的P＝0.1的时候求该信道的信道容量。 （10分） 2. 离散无记忆信源 1 2 3 4 5 ( ) 0.1 0.45 0.25 0.15 0.05 S s s s s s P s （a）对它进行 Huffman 编码 （b）求平均编码长度 （10 分） 3. 有一个二元对称信道，其信道矩阵为 0.9 0.1 0.1 0.9 。设该信源以 1400 二元符号/秒的速度 传输输入符号。现有一消息序列共有 12000 个二元符号，并设 p(0)=p(1)=1/2，问从信息传 输的角度来考虑，10 秒钟内能否将这消息序列无失真地传递完？ （10 分） 4．已知（7，4）线性分组码的生成矩阵 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 1 0 1 1 0 0 0 0 1 1 1 1 G ， （a）写出其监督矩 H （b）假设有信息序列（1111）和（0001），分别求出对应的码字。 （c）当接收序列是 R＝（1101100），确定其译码后对应的信息序列 （15 分） 5．假设高斯信源X服从N（0，1）的标准正态分布，计算高斯信源的差熵。 （10分） 22 1 ( ) 2 x p x e 2．装订试卷，考生答卷时不得拆开或在框外留写标记，否则按零分计。 共 2 页 第 2 页