《信息论基础》课程教学大纲 课程编码：TX103121 课程名称：信息论基础与编码A 英文名称：Element of Information Theory and Coding 适用专业：电子信息科学与技术、通信工程、等电子信息类专业 先修课程：通信原理、概率论 学分：4 总学时：64 实验（上机）学时：0 一、课程简介 1、信息论基础与编码是电子信息类专业的一门基础课程。本课程的教学目 的就是通过对通信系统中信息理论的介绍，使学生们更深入地了解信息的概念和 本质，并掌握一些信息理论知识和常用的编解码的方法。以香农信息论为基础， 香农三大定理及香农公式为重点，介绍各种信源/信道编码的基础理论以及具体 编译码方法。同时课程通过对卷积码等编码在GSM中的应用介绍，用于加深学生 对课程内容的理解。 2.Information Theory and Coding is one of the basic courses of the major about electronic information.The purpose of the course is to offer students a deeper understanding the concept and essence of information,as well as to teach them some of the information theories and coding methods which are most commonly used,by introducing information theories in the communication system.Based on the Shannon information theory,and focused on Shannon's three main theorem and Shannon's formula,the course introduces basic theories in source/channel coding and particular method of coding.By giving examples of coding in GSM system,the course can help students deeper understand the information theory. 二、本课程与其它课程的联系 信息论基础与编码是一门基础课程，讲述的是通信基础理论。它解决的是通 信中为什么要这样做的问题，通信原理主要是解决怎么做的问题，所以先学通信 原理就有助于对信息论的理解，同样由于信息论中用到大量的概率、方程组的知 识，所以必须先修概率论和线性代数。信息论中的信道容量、编码又是无线通信、 光通信等其它通信专业课程的基础。因此该课程的选修有助于对后续专业课程的
5 《信息论基础》课程教学大纲 课程编码：TX103121 课程名称：信息论基础与编码 A 英文名称：Element of Information Theory and Coding 适用专业： 电子信息科学与技术、通信工程、等电子信息类专业 先修课程：通信原理、概率论 学 分 ：4 总学时： 64 实验（上机）学时：0 一、课程简介 1、信息论基础与编码是电子信息类专业的一门基础课程。本课程的教学目 的就是通过对通信系统中信息理论的介绍，使学生们更深入地了解信息的概念和 本质，并掌握一些信息理论知识和常用的编解码的方法。以香农信息论为基础， 香农三大定理及香农公式为重点，介绍各种信源/信道编码的基础理论以及具体 编译码方法。同时课程通过对卷积码等编码在 GSM 中的应用介绍，用于加深学生 对课程内容的理解。 2、Information Theory and Coding is one of the basic courses of the major about electronic information. The purpose of the course is to offer students a deeper understanding the concept and essence of information, as well as to teach them some of the information theories and coding methods which are most commonly used, by introducing information theories in the communication system. Based on the Shannon information theory, and focused on Shannon's three main theorem and Shannon's formula, the course introduces basic theories in source/channel coding and particular method of coding. By giving examples of coding in GSM system，the course can help students deeper understand the information theory . 二、本课程与其它课程的联系 信息论基础与编码是一门基础课程，讲述的是通信基础理论。它解决的是通 信中为什么要这样做的问题，通信原理主要是解决怎么做的问题，所以先学通信 原理就有助于对信息论的理解，同样由于信息论中用到大量的概率、方程组的知 识，所以必须先修概率论和线性代数。信息论中的信道容量、编码又是无线通信、 光通信等其它通信专业课程的基础。因此该课程的选修有助于对后续专业课程的
理解和掌握。 三、课程内容及要求 第一章绪论 主要内容：(2学时) 信息的一般含义，通信系统模型，信息论研究的对象、目的和内容：信息论 的发展以及展望。 基本要求：让学生了解信息的概念，使学生对信息表达的三个层次：信号、 消息、与信息三者之间的内涵与外延关系有较深刻的认识，从不同的侧面和不同 的层次揭示信息的本质 重点：信息的概念、自信息的概念和计算。 难点：对信息概念的掌握 第二章离散信源 主要内容：(12学时)》 离散信源和连续信源的定义，信息熵的性质以及计算，信源剩余度的计算以 及物理意义。 基本要求：了解离散信源的数学模型与分类；掌握信息熵、熵的基本性质以 及离散无记忆扩展信源：了解马尔科夫信源、信源的相关性与剩余度。 重点：信息的度量方法，离散信源的数学模型及各种信源信息熵的计算方法。 难点：信息的计算以及信息熵的计算。 第三章离散信道 主要内容：(12学时) 信道模型的分类、平均互信息的定义以及物理意义、离散对称信道、准对称 信道、离散扩展信道、串联/并联信道的概念和容量计算。信源与信道的匹配。 基本要求：了解信道模型、分类、信道疑义度：理解和掌握平均互信息及其 特性、离散无记忆扩展信道、串联信道互信息、信道容量：熟悉信源与信道的匹 配。 重点：信道的数学模型，平均互信息及其性质，关于平均互信息的两个定理， 信道容量的概念，常用离散和连续信道的信道容量计算方法。 难点：平均互信息以及信道容量的计算。 第四章信息率失真函数 主要内容：(4学时)离散和连续信源的信息率失真函数R(D)的计算。 平均失真和率失真函数的定义以及性质， 基本要求：了解平均失真和率失真函数的定义以及性质，理解离散和连续信 源的信息率失真函数R(D)的计算。 重点：平均失真和率失真函数的定义以及计算。 第五章信源编码 主要内容：(12) 信源编码定理、唯一可译码的判断、常用的变长编码的方法。 基本要求：了解等无失真和限失真源编码定理、唯一可译判定：掌握变长信 源编码定理以及常见变长编码方法。 重点：三个定理，信源编码的目的和基本思路，仙农编码、费诺编码、霍夫 曼编码方法：游程编码、算术编码的基本思路。 6
6 理解和掌握。 三、课程内容及要求 第一章 绪论 主要内容：（2 学时） 信息的一般含义，通信系统模型，信息论研究的对象、目的和内容；信息论 的发展以及展望。 基本要求：让学生了解信息的概念，使学生对信息表达的三个层次：信号、 消息、与信息三者之间的内涵与外延关系有较深刻的认识，从不同的侧面和不同 的层次揭示信息的本质 重点：信息的概念、自信息的概念和计算。 难点：对信息概念的掌握 第二章 离散信源 主要内容：（12 学时） 离散信源和连续信源的定义，信息熵的性质以及计算，信源剩余度的计算以 及物理意义。 基本要求：了解离散信源的数学模型与分类；掌握信息熵、熵的基本性质以 及离散无记忆扩展信源；了解马尔科夫信源、信源的相关性与剩余度。 重点：信息的度量方法，离散信源的数学模型及各种信源信息熵的计算方法。 难点：信息的计算以及信息熵的计算。 第三章 离散信道 主要内容：（12 学时） 信道模型的分类、平均互信息的定义以及物理意义、离散对称信道、准对称 信道、离散扩展信道、串联/并联信道的概念和容量计算。信源与信道的匹配。 基本要求：了解信道模型、分类、信道疑义度；理解和掌握平均互信息及其 特性、离散无记忆扩展信道、串联信道互信息、信道容量；熟悉信源与信道的匹 配。 重点：信道的数学模型，平均互信息及其性质，关于平均互信息的两个定理， 信道容量的概念，常用离散和连续信道的信道容量计算方法。 难点：平均互信息以及信道容量的计算。 第四章 信息率失真函数 主要内容：（4 学时）离散和连续信源的信息率失真函数 R（D）的计算。 平均失真和率失真函数的定义以及性质， 基本要求：了解平均失真和率失真函数的定义以及性质，理解离散和连续信 源的信息率失真函数 R（D）的计算。 重点：平均失真和率失真函数的定义以及计算。 第五章 信源编码 主要内容：（12） 信源编码定理、唯一可译码的判断、常用的变长编码的方法。 基本要求：了解等无失真和限失真源编码定理、唯一可译判定；掌握变长信 源编码定理以及常见变长编码方法。 重点：三个定理，信源编码的目的和基本思路，仙农编码、费诺编码、霍夫 曼编码方法；游程编码、算术编码的基本思路
难点：信源编码的定理以及3种常用编码方法。 第六章有噪信道编码 主要内容：(4学时) 译码规则和平均错误概率：最大后验概率、最大似然译码准则：平均错误概 率与编码方法：汉明距离与编码原则：有噪信道编码定理。 基本要求：了解译码规则和平均错误概率、最大后验概率、最大似然译码准 则、汉明距离与编码原则：掌握信道编码定理。 重点：掌握信道编码的基本思路和编码定理。 第七章线性分组码 主要内容：(8学分)》 信道编码的概念与分类，线性分组码的概念与原理：汉明码的编译码原理与 方法，循环码的编译码原理与方法。 基本要求：了解信道编码的概念与分类，线性分组码的概念与原理：掌握汉 明码和循环码的编译码原理以及方法：熟悉线性分组码的应用。 重点：线性分组码的基本原理、汉明码和循环码的编译码。 难点：循环码的编译码 第八章卷积码 主要内容：(10学分) 卷积码概念与原理：树图、状态转移图、格图的概念、卷积码的编译码原理 以及维特比译码算法；卷积码的应用。 基本要求：了解卷积码的概念与分类：掌握卷积码码的编译码原理以及维特 比译码算法：熟悉卷积码的应用。 重点：卷积码的编码以及译码，树图、状态转移图、格图的概念以及维特比 译码算法。 难点：树图、状态转移图、格图以及维特比译码算法的掌握
7 难点：信源编码的定理以及 3 种常用编码方法。 第六章 有噪信道编码 主要内容：（4 学时） 译码规则和平均错误概率；最大后验概率、最大似然译码准则；平均错误概 率与编码方法；汉明距离与编码原则；有噪信道编码定理。 基本要求：了解译码规则和平均错误概率、最大后验概率、最大似然译码准 则、汉明距离与编码原则；掌握信道编码定理。 重点：掌握信道编码的基本思路和编码定理。 第七章线性分组码 主要内容：（8 学分） 信道编码的概念与分类，线性分组码的概念与原理；汉明码的编译码原理与 方法，循环码的编译码原理与方法。 基本要求：了解信道编码的概念与分类，线性分组码的概念与原理；掌握汉 明码和循环码的编译码原理以及方法；熟悉线性分组码的应用。 重点：线性分组码的基本原理、汉明码和循环码的编译码。 难点：循环码的编译码 第八章卷积码 主要内容：（10 学分） 卷积码概念与原理；树图、状态转移图、格图的概念、卷积码的编译码原理 以及维特比译码算法；卷积码的应用。 基本要求：了解卷积码的概念与分类；掌握卷积码码的编译码原理以及维特 比译码算法；熟悉卷积码的应用。 重点：卷积码的编码以及译码，树图、状态转移图、格图的概念以及维特比 译码算法。 难点：树图、状态转移图、格图以及维特比译码算法的掌握
四、教学安排及学时分配 教学环节 学时分配 及学时 习题课 主要内容 讲课 实验 小计 第一章 2 2 第二章 10 2 12 第三章 8 2 2 12 第四章 4 4 第五章 8 2 10 第六章 4 4 第七章 6 2 8 第八章 6 2 4 12 合计 48 8 8 64 五、实验部分教学内容和要求：（含课内实验的课程填写本部分） 实验类型 序 学 实验项目名称 实验内容及要求 号 时 演 验 设 综 示 证 计 合 1 2 合 计 比 例 8
8 四、教学安排及学时分配 五、实验部分教学内容和要求：（含课内实验的课程填写本部分） 序 号 实验项目名称 实验内容及要求 学 时 实验类型 演 示 验 证 设 计 综 合 1 2 合 计 比 例 教学环节 及学时 主要内容 学时分配 讲课 习题课 实验 小计 第一章 2 2 第二章 10 2 12 第三章 8 2 2 12 第四章 4 4 第五章 8 2 10 第六章 4 4 第七章 6 2 8 第八章 6 2 4 12 合计 48 8 8 64
六、考核方式 考核方式为闭卷，其中卷面成绩占70%，平时成绩30%。 七、建议教材及参考资料 列出所采用的教材及相应的主要参考书目，按GB7714一2005《文后参考文 献著录规则》编写，参考资料控制在10项以内，如： 建议教材：王军选，田小平，曹红梅.信息论基础与编码.北京：人们邮电 出版社.2011.9 人们邮电出版社12.5规划教材 参考资料： [1]吴伟陵等.信息处理与编码.北京：人民邮电出版社.1999 [2]付祖芸等.信息论与编码.北京：电子工业出版社.1999 [l]T.M.Cover等.Elements of Information Theory.北京：清华大学出 版社.2003 (执笔人： 审核人： 9
9 六、考核方式 考核方式为闭卷，其中卷面成绩占 70%，平时成绩 30%。 七、建议教材及参考资料 列出所采用的教材及相应的主要参考书目，按 GB7714—2005《文后参考文 献著录规则》编写，参考资料控制在 10 项以内，如： 建议教材：王军选，田小平，曹红梅．信息论基础与编码．北京：人们邮电 出版社．2011.9 人们邮电出版社 12.5 规划教材 参考资料： [1]吴伟陵等．信息处理与编码．北京：人民邮电出版社．1999 [2]付祖芸等．信息论与编码．北京：电子工业出版社．1999 [1] T.M.Cover 等．Elements of Information Theory．北京：清华大学出 版社．2003 （执笔人： 审核人： ）