《多媒体技术（含实验）课程》课程教学大纲 课程名称：多媒体技术（含实验） 课程代码：ELIE2008 英文名称：Multimedia Technology 课程性质：（通识、公共、大类等） 学分/学时： 开课学期：6 适用专业：信息工程、通信工程、电子信息工程 先修课程：高等数学、工程数学、信号与线性系统、数字信号处理 后续课程：信息系统综合实验 开课单位：电子信息学院 课程负责人：王加俊 大纲执笔人：王加俊、陈雪勤 大纲审核人：胡剑凌 一、 课程性质和教学目标（在人才培养中的地位与性质及主要内容，指明 学生需掌握知识与能力及其应达到的水平) 课程性质：多媒体技术是信息工程的专业必修课、以及通信工程和电子信息工程 的专业选修课程，是信号与线性系统、数字信号处理等课程的后续课程。 教学目标：通过本课程的学习，使学生掌握语音、音频、图像以及视频等媒体的 基本概念以及利用计算机对语音、音频、图像以及视频进行综合处理和分析的基 本技术，了解多媒体信息处理技术的应用和发展概况，进一步培养学生解决多媒 体信息的传输和处理中复杂问题的能力。本课程的具体教学目标如下： (1)熟悉多媒体及多媒体技术的基本概念及特征：了解声音的基本特性及主观感 觉：熟悉音频、图像、视频信号数字化的过程，掌握均匀量化的原理： (2)掌握彩色三要素、三基色原理及混色方法等色度学基本知识：理解RGB、YUV、 YIQ、YCbCr、HSI/HSV等颜色空间的表示及转换；熟悉ITU-RBT.601建议的 主要内容；掌握Matlab中用于图像处理基本函数的用法。 (3)掌握数字图像增强的基本方法和技术：掌握二值图像的数学形态学处理的基 本原理和常用方法；掌握图像的阈值化分割、边缘检测、区域分割等图像分 割方法：掌握数字图像以及视频的无失真编码、预测编码、变换编码的基本 原理、了解JPEG、MPEG等常用的图像及视频编码标准：掌握数字水印的基本 概念、数字图像水印的嵌入与提取方法、了解数字视频水印的嵌入和提取方 案
《多媒体技术(含实验)课程》课程教学大纲 课程名称：多媒体技术（含实验） 课程代码：ELIE2008 英文名称：Multimedia Technology 课程性质：（通识、公共、大类等） 学分/学时： 开课学期：6 适用专业：信息工程、通信工程、电子信息工程 先修课程：高等数学、工程数学、信号与线性系统、数字信号处理 后续课程：信息系统综合实验 开课单位：电子信息学院 课程负责人：王加俊 大纲执笔人：王加俊、陈雪勤 大纲审核人：胡剑凌 一、 课程性质和教学目标（在人才培养中的地位与性质及主要内容，指明 学生需掌握知识与能力及其应达到的水平） 课程性质：多媒体技术是信息工程的专业必修课、以及通信工程和电子信息工程 的专业选修课程，是信号与线性系统、数字信号处理等课程的后续课程。 教学目标：通过本课程的学习，使学生掌握语音、音频、图像以及视频等媒体的 基本概念以及利用计算机对语音、音频、图像以及视频进行综合处理和分析的基 本技术，了解多媒体信息处理技术的应用和发展概况，进一步培养学生解决多媒 体信息的传输和处理中复杂问题的能力。本课程的具体教学目标如下： (1)熟悉多媒体及多媒体技术的基本概念及特征；了解声音的基本特性及主观感 觉；熟悉音频、图像、视频信号数字化的过程，掌握均匀量化的原理； (2)掌握彩色三要素、三基色原理及混色方法等色度学基本知识；理解 RGB、YUV、 YIQ、YCbCr、HSI/HSV 等颜色空间的表示及转换；熟悉 ITU-R BT.601 建议的 主要内容；掌握 Matlab 中用于图像处理基本函数的用法。 (3)掌握数字图像增强的基本方法和技术；掌握二值图像的数学形态学处理的基 本原理和常用方法；掌握图像的阈值化分割、边缘检测、区域分割等图像分 割方法；掌握数字图像以及视频的无失真编码、预测编码、变换编码的基本 原理、了解 JPEG、MPEG 等常用的图像及视频编码标准；掌握数字水印的基本 概念、数字图像水印的嵌入与提取方法、了解数字视频水印的嵌入和提取方 案
(4)熟悉声学基本概念及度量参数：掌握人的三个主观听感要素：响度、音调、 音色的概念；熟悉人的听觉特性和语音的发音机理：了解数字音频文件的多 种格式，掌握WAV、RIFF格式的结构：掌握语音信号时频域声学特征提取方 法。 (⑤)掌握数字音频压缩技术的原理：掌握线性预测编码、矢量量化、子带编码的 原理，了解MPEG音频编码原理；了解基音频率与声调、说话人性别之间的关 联：理解数字音频水印的原理，掌握基本的数字音频水印实现方法：理解声 纹识别系统中的特征、分类模型的概念，掌握一种声纹识别系统的设计方法。 二、 课程目标与毕业要求的对应关系（明确本课程知识与能力重点 符合标准哪几条毕业要求指标点) 毕业要求 指标点 课程目标 1、工程知识 1-2掌握多媒体基础知识，具备对音频 教学目标1 /语音、视频/图象进行信号分析与处理 能力 2-3能正确运用多媒体技术原理分析 2、问题分析 教学目标2 复杂工程问题。 3、设计/开发解决 3-1能够综合考虑，形成对复杂问题的 方案 设计方案。 教学目标3 三、 课程教学内容及学时分配（含课程教学、自学、作业、讨论等 内容和要求，指明重点内容和难点内容)（重点内容：★；难点内容：△） 1、多煤体信息处理基础（7学时) 1.1多媒体的基本概念 1.1.1多媒体的基本概念 1.1.2多媒体与多媒体技术 1.2图像信息处理基础 1.2.1光的颜色与彩色三要素 1.2.2三基色的基本原理 1.2.3颜色空间模型及转换关系 1.2.4图像信号的数字化 1.3视频信号的数字化 l.4 Matlab在图像处理中的应用 1.4.1 Matlab简介
(4)熟悉声学基本概念及度量参数；掌握人的三个主观听感要素：响度、音调、 音色的概念；熟悉人的听觉特性和语音的发音机理；了解数字音频文件的多 种格式，掌握 WAV、RIFF 格式的结构；掌握语音信号时频域声学特征提取方 法。 (5)掌握数字音频压缩技术的原理；掌握线性预测编码、矢量量化、子带编码的 原理，了解 MPEG 音频编码原理；了解基音频率与声调、说话人性别之间的关 联；理解数字音频水印的原理，掌握基本的数字音频水印实现方法；理解声 纹识别系统中的特征、分类模型的概念，掌握一种声纹识别系统的设计方法。 二、 课程目标与毕业要求的对应关系（明确本课程知识与能力重点 符合标准哪几条毕业要求指标点） 毕业要求 指标点 课程目标 1、工程知识 1-2 掌握多媒体基础知识，具备对音频 /语音、视频/图象进行信号分析与处理 能力 教学目标 1 2、问题分析 2-3 能正确运用多媒体技术原理分析 复杂工程问题。 教学目标 2 3、设计/开发解决 方案 3-1 能够综合考虑，形成对复杂问题的 设计方案。 教学目标 3 三、 课程教学内容及学时分配（含课程教学、自学、作业、讨论等 内容和要求，指明重点内容和难点内容）（重点内容：；难点内容：） 1、多媒体信息处理基础（7学时） 1.1 多媒体的基本概念 1.1.1 多媒体的基本概念 1.1.2 多媒体与多媒体技术 1.2 图像信息处理基础 1.2.1 光的颜色与彩色三要素 1.2.2 三基色的基本原理 1.2.3 颜色空间模型及转换关系 1.2.4 图像信号的数字化 1.3 视频信号的数字化 1.4 Matlab在图像处理中的应用 1.4.1 Matlab简介
1.4.2 Matlab中图像文件的基本操作 1.5声学基础知识 1.5.1声波、声音与声学的基础概念 1.5.2声音的参数与度量 1.5.3室内声学基础 1.5.4人耳的听觉特性 1.5.5声音质量评价方法 1.6音频信号数字化处理 1.6.1音频信号的数字化 1.6.2过采样与噪声整形 1.6.3数字音频文件格式 1.6.4数字音频编辑软件 令目标及要求 (1)熟悉多媒体及多媒体技术的基本概念及特征。 (2)了解声音的基本特性及主观感觉。 (3)熟悉音频、图像、视频信号数字化的过程，掌握均匀量化的原理。 (4)掌握彩色三要素、三基色原理及混色方法等色度学基本知识。 (5)理解RGB、YUV、YIQ、YCbCr、HSI/HSV等颜色空间的表示及转换。 (6)熟悉ITU-RBT.601建议的主要内容。 (7)了解MATLAB在图像处理和分析领域的应用。 (8)熟悉声学基本概念及度量参数。 (9)掌握人的三个主观听感要素：响度、音调、音色的概念。 (10)了解影响室内声学环境的因素以及混响的作用。 (11)掌握人耳听觉范围和听觉掩蔽效应，了解听觉延时效应和双耳效应。 (12)熟悉评价声音质量的主客观指标。 (13)熟悉资源交换文件格式RIFF的结构和WAV文件格式的基本结构，了解 mp3/midi/ra/rm/wma/ape/au等音频文件格式。 (14)熟悉数字音频编辑软件如：cooledit./audition等的使用方法。 令作业内容 (1)媒体的概念与分类： (2)多媒体技术的基本概念及特征： (3)彩色三要素的物理含义，RGB、HIS如何对颜色进行描述？ (4)编写程序实现RGB与HIS之间的转换； (5)复合数字编码与分量数字编码的基本原理及其优缺点： (6)ITU-RBT.601建议的主要内容有哪些？有何实际意义？
1.4.2 Matlab中图像文件的基本操作 1.5 声学基础知识 1.5.1 声波、声音与声学的基础概念 1.5.2 声音的参数与度量 1.5.3 室内声学基础 1.5.4 人耳的听觉特性 1.5.5 声音质量评价方法 1.6 音频信号数字化处理 1.6.1 音频信号的数字化 1.6.2 过采样与噪声整形 1.6.3 数字音频文件格式 1.6.4 数字音频编辑软件 目标及要求 （1）熟悉多媒体及多媒体技术的基本概念及特征。 （2）了解声音的基本特性及主观感觉。 （3）熟悉音频、图像、视频信号数字化的过程，掌握均匀量化的原理。 （4）掌握彩色三要素、三基色原理及混色方法等色度学基本知识。 （5）理解RGB、YUV、YIQ、YCbCr、HSI/HSV等颜色空间的表示及转换。 （6）熟悉ITU-R BT.601建议的主要内容。 （7）了解MATLAB在图像处理和分析领域的应用。 （8）熟悉声学基本概念及度量参数。 （9）掌握人的三个主观听感要素：响度、音调、音色的概念。 (10)了解影响室内声学环境的因素以及混响的作用。 （11）掌握人耳听觉范围和听觉掩蔽效应，了解听觉延时效应和双耳效应。 (12) 熟悉评价声音质量的主客观指标。 （13）熟悉资源交换文件格式RIFF的结构和WAV文件格式的基本结构，了解 mp3/midi/ra/rm/wma/ape/au等音频文件格式。 (14) 熟悉数字音频编辑软件如：cooledit/audition等的使用方法。 作业内容 （1）媒体的概念与分类； （2）多媒体技术的基本概念及特征； （3）彩色三要素的物理含义，RGB、HIS如何对颜色进行描述? （4）编写程序实现RGB与HIS之间的转换； （5）复合数字编码与分量数字编码的基本原理及其优缺点； （6）ITU-R BT.601建议的主要内容有哪些？有何实际意义？
(7)人耳的听觉范围及等响度曲线的特点？ (8)人耳区别不同人声及各类乐器依据的主要参量？ (9)描述听觉掩蔽效应，思考听觉掩蔽效应的应用。 (10)说明音频信号数字化的三个主要步骤及其功能。 (11)过采样以及噪声整形技术为什么可以提高A/D转换器精度？ 2、图像增强（6学时) 2.1引言 2.2图像的灰度变换 2.2.1灰度的线性变换 2.2.2灰度的非线性变换 2.2.3直方图均衡化 2.2.4直方图的规定化 2.3图像平滑 2.3.1模板操作和卷积运算 2.3.2邻域平均法 2.3.3中值滤波 2.3.4频域低通滤波 2.4图像锐化 2.4.1梯度算子 2.4.2Sobe1算子 2.4.3 Laplacian算子 2.4.4频域高通滤波 2.5图像的同态滤波 2.6伪彩色增强 ◇目标及要求 (1)掌握数字图像增强的基本方法和技术： (2)掌握数字图像灰度的线性与非线性变换的方法及应用： (3)熟悉直方图均衡化、直方图规定化的步骤： (4)掌握图像平滑的基本方法，如邻域平均法、中值滤波法、低通滤波： (5)掌握图像锐化的基本方法，如梯度运算、Sobe1算子、拉普拉斯算子、 高通滤波； (6)了解图像的同态滤波： (7)了解伪彩色增强、假彩色增强的基本方法。 ◇作业内容
（7）人耳的听觉范围及等响度曲线的特点？ （8）人耳区别不同人声及各类乐器依据的主要参量？ （9）描述听觉掩蔽效应，思考听觉掩蔽效应的应用。 （10）说明音频信号数字化的三个主要步骤及其功能。 （11）过采样以及噪声整形技术为什么可以提高A/D转换器精度？ 2、图像增强 (6学时) 2.1 引言 2.2 图像的灰度变换 2.2.1 灰度的线性变换 2.2.2 灰度的非线性变换 2.2.3 直方图均衡化 2.2.4 直方图的规定化 2.3 图像平滑 2.3.1 模板操作和卷积运算 2.3.2 邻域平均法 2.3.3 中值滤波 2.3.4 频域低通滤波 2.4 图像锐化 2.4.1梯度算子 2.4.2 Sobel算子 2.4.3 Laplacian算子 2.4.4 频域高通滤波 2.5 图像的同态滤波 2.6 伪彩色增强 目标及要求 （1）掌握数字图像增强的基本方法和技术； （2）掌握数字图像灰度的线性与非线性变换的方法及应用； （3）熟悉直方图均衡化、直方图规定化的步骤； （4）掌握图像平滑的基本方法，如邻域平均法、中值滤波法、低通滤波； （5）掌握图像锐化的基本方法，如梯度运算、Sobel算子、拉普拉斯算子、 高通滤波； （6）了解图像的同态滤波； （7）了解伪彩色增强、假彩色增强的基本方法。 作业内容
(1)图像增强的目的： (2)利用线性变换实现灰度动态范围的拉伸或压缩： (3)利用灰度直方图的均衡化和规定化技术实现图像增强： (4)图像的平均值滤波、中值滤波的适用范围有何区别、分别利用这两种 滤波器进行图像去噪处理； (5)利用一阶微分算子对图像进行锐化处理： (6)利用同态滤波对图像进行对比度增强处理； (7)利用灰度分层法或灰度变换法将一幅灰度图像转换成彩色图像。 3、形态学图像处理（6学时) 3.1引言 3.1.1数学形态学的基本思想 3.1.2集合论基础 3.1.3数学形态学中的几个基本概念 3.2二值形态学基本运算 3.2.1腐蚀 3.2.2膨胀 3.2.3腐蚀与膨胀的对偶性 3.2.4开运算 3.2.5闭运算 3.3二值图像的形态学处理 3.3.1边缘提取 3.3.2区域填充 3.3.3骨架提取 3.3.4细化 3.3.5粗化 3.3.6形态学滤波 令目标及要求 (1)了解数学形态学的基本思想： (2)熟悉集合和子集的概念及表示方法，掌握集合间的关系及并、交、补、差 等运算： (3)理解数学形态学中结构元素的概念及作用： (4)掌握膨胀、腐蚀、开、闭运算的物理含义，以及由上述各种基本运算导出 的各种二值图像形态学处理算法。 ◇作业内容 (1)说明二值膨胀、腐蚀运算对图像处理的作用和特点，并通过编程实现之；
（1）图像增强的目的； （2）利用线性变换实现灰度动态范围的拉伸或压缩； （3）利用灰度直方图的均衡化和规定化技术实现图像增强； （4）图像的平均值滤波、中值滤波的适用范围有何区别、分别利用这两种 滤波器进行图像去噪处理； （5）利用一阶微分算子对图像进行锐化处理； （6）利用同态滤波对图像进行对比度增强处理； （7）利用灰度分层法或灰度变换法将一幅灰度图像转换成彩色图像。 3、形态学图像处理（6学时） 3.1 引言 3.1.1 数学形态学的基本思想 3.1.2 集合论基础 3.1.3 数学形态学中的几个基本概念 3.2 二值形态学基本运算 3.2.1 腐蚀 3.2.2 膨胀 3.2.3 腐蚀与膨胀的对偶性 3.2.4 开运算 3.2.5 闭运算 3.3 二值图像的形态学处理 3.3.1 边缘提取 3.3.2 区域填充 3.3.3 骨架提取 3.3.4 细化 3.3.5 粗化 3.3.6 形态学滤波 目标及要求 （1）了解数学形态学的基本思想； （2）熟悉集合和子集的概念及表示方法，掌握集合间的关系及并、交、补、差 等运算； （3）理解数学形态学中结构元素的概念及作用； （4）掌握膨胀、腐蚀、开、闭运算的物理含义，以及由上述各种基本运算导出 的各种二值图像形态学处理算法。 作业内容 （1）说明二值膨胀、腐蚀运算对图像处理的作用和特点，并通过编程实现之；