工食鸣行久位速应等装西 “中5”成划附时应话目 码 信息论基础 3武尼海等反校信嘉与通信工程现城数材 Elements of Information Thcory and Coding
6
第一章概论 。1.1信息的基本概念 ÷1.2信息论研究的对象和内容 ·1.3信息论的发展
7 ❖ 1.1 信息的基本概念 ❖ 1.2信息论研究的对象和内容 ❖ 1.3信息论的发展 第一章 概论
1.1信息的概念 6信息是信息论中最基本、最重要的概念，既抽象又 复杂，信息在日常生活中被认为是“消息”、“知 识”、“情报”等 消息：用文字等能够被人们感觉器官所感知的形式，把客观物 质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息，以实践为 基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的 知识 它们之间有着密切联系但不等同，信息的含义更深刻、广泛
8 消息：用文字等能够被人们感觉器官所感知的形式，把客观物 质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息，以实践为 基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的 知识 。 它们之间有着密切联系但不等同，信息的含义更深刻、广泛 1.1 信息的概念 信息是信息论中最基本、最重要的概念，既抽象又 复杂，信息在日常生活中被认为是“消息”、“知 识”、“情报”等
1.1信息的概念 >“信息”不同于消息（在现代信息论形成之前，信息一直 被看作是通信中消息的同义词，没有严格的数学含义)， 消息是表现形式，信息是实质； >“信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； >信息不同于信号，信号是承载消息的物理量； >信息不同于知识，知识是人们根据某种目的，从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息
9 1.1 信息的概念 ➢“信息”不同于消息（在现代信息论形成之前，信息一直 被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质； ➢“信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； ➢信息不同于信号，信号是承载消息的物理量； ➢信息不同于知识，知识是人们根据某种目的,从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息
1.1信息的概念 就狭义而言，在通信中对信息的表达分为三个层次：信号、消 。 息、信息 ÷信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描述、 可显示。 ·消息：（或称为符号）是信息的数学表达层，它虽不是一个物 理量，但是可以定量地加以描述，它是具体物理信号的进一步 数学抽象，可将具体物理信号抽象为两大类型： 离散（数字）消息，一组未知量，可用随机序列来描述： X=(X1.Xi.Xn) 连续（模拟）消息，未知量，它可用随机过程来描述： X(t,⊙
10 就狭义而言，在通信中对信息的表达分为三个层次：信号、消 息、信息。 ❖ 信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描述、 可显示。 ❖ 消息：(或称为符号)是信息的数学表达层，它虽不是一个物 理量，但是可以定量地加以描述，它是具体物理信号的进一步 数学抽象，可将具体物理信号抽象为两大类型： ➢ 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1.Xi.Xn ) ➢ 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ω) 1.1 信息的概念