信息论课程总结
信息论课程总结
信息论的基本概念与术语 亏,消息,数据,知识, ●信息的定义。(香农信息) 信息的主要特征。 信息的重要性质 信息的分类。 ●信息技术的基本内容
信息论的基本概念与术语 ⚫ 信号，消息，数据，知识，情报。 ⚫ 信息的定义。（香农信息） ⚫ 信息的主要特征。 ⚫ 信息的重要性质。 ⚫ 信息的分类。 ⚫ 信息技术的基本内容
思考题 信息是什么? ●信息的基本特征是什么? 信息与信号、消息、数据、知识、情报有那些 差别? ●怎样进行信息分类? 信息技术的“四基元”是什么? °为什么说数学是信息科学的基础?
思考题: ⚫ 信息是什么？ ⚫ 信息的基本特征是什么？ ⚫ 信息与信号、消息、数据、知识、情报有那些 差别？ ⚫ 怎样进行信息分类？ ⚫ 信息技术的 “四基元”是什么？ ⚫ 为什么说数学是信息科学的基础？
信息量、熵和不确定度: ●自信息量、条件自信息量、联合自信息量、互 信息量。 ●不确定度。 熵、条件熵、联合熵、平均互信息。 应用 如何利用它们的性质和相互关系计算各种 信源、随机变量和事件的相应信息度量
信息量、熵和不确定度： ⚫ 自信息量、条件自信息量、联合自信息量、互 信息量。 ⚫ 不确定度。 ⚫ 熵、条件熵、联合熵、平均互信息。 应用： 如何利用它们的性质和相互关系计算各种 信源、随机变量和事件的相应信息度量
两个基本定理: ●最大熵定理。 ●信息不增原理
两个基本定理： ⚫ 最大熵定理。 ⚫ 信息不增原理