《信息论基础》翟明岳第一章 绪论 学习笔记前言信息论之父——克劳德·香农克劳德·艾尔伍德·香农Claude Elwood Shannon1919—2001美国数学家信息论的创始人被誉为“信息时代之父”。1948年香农在《Bell System Technical Journal》发表划时代论文《通信的数学理论》正式宣告信息论这门全新学科诞生。1949年他又在同一期刊发表《噪声下的通信》。在这两篇里程碑式论文中香农阐明通信的基本问题给出通信系统经典模型提出信息量的数学表达式解决了信道容量、信源统计特性、信源编码、信道编码等一系列核心基础问题。这两篇论文也成为信息论的奠基性著作。在香农之前人们只能凭经验定性理解通信而香农第一次用数学定义了信息信息是用来消除随机不确定性的东西。他引入熵、比特、互信息等概念搭建起整个现代数字通信的理论根基。今天我们使用的手机通信、WiFi、图片视频压缩、存储技术全部建立在香农信息论的理论之上。一、信息的概念分清「信息、消息、信号」核心一句话信息是一个抽象的概念信息包含在消息之中消息是信息的载体信号是消息的表现形式消息是信号的具体内容。1. 香农对信息的定义信息是用来消除随机不确定性的东西。一则消息之所以包含信息是因为它带有不确定性完全确定、已知的消息不携带任何信息。通信的目的就是消除或者部分消除这种不确定性。例抛硬币在不知道正反面结果前存在不确定性得知抛掷结果不确定性被消除我们就获得了信息。香农信息定义信息是对事物运动状态或者存在方式的不确定性的描述从随机性、概率角度理解信息。举个生活化例子天气预报“明天太阳从东边升起”这件事百分百确定没有信息天气预报“明天有暴雨”这件事存在不确定性这条消息就携带了信息。2. 三者对比辨析3. 信息的基本特性可度量信息可以用数学公式定量计算可传递可以跨越空间传输可压缩消息存在冗余可以精简信源编码核心可共享信息传递后发送方不会丢失原有信息存在噪声干扰传输过程容易被干扰产生错误4.信息量的度量思维与简单实例信息是可以度量的。哈特莱最早提出利用对数函数衡量信息量大小消息信息量等于符号取值个数的对数。例子1抛掷硬币只有2种结果信息量log2²1bit例子2十进制数字有0~9共10种符号信息量log2¹⁰3.3219bit香农进一步完善信息量不仅和符号数量有关还和事件发生概率不确定性有关。事件发生概率越小不确定性越大获得的信息量越大。例不均匀硬币正面概率90%、反面概率10%抛出反面时得到的信息量远大于抛出正面。5.信息论发展关键人物与时间线·1924年奈奎斯特研究电报脉冲速率与信道带宽的关系·1928年哈特莱区分消息与信息提出对数度量信息·1935年阿姆斯特朗提出增大带宽提升通信抗干扰能力·1948年香农《通信的数学理论》信息论正式诞生提出信息熵·1949年香农《噪声下的通信》通信核心问题噪声环境下可靠、有效传递信息解决手段为编码·1959年香农《保真度准则下的离散信源编码定理》建立信息率失真理论二、通信系统模型信息论从诞生到现在虽然只有短短几十年的时间但它的发展对学术界和人类社会的影响非常广泛和深刻。如今信息论的研究内容不仅包括通信系统还包括所有与信息有关的自然和社会领域如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至社会学中有关信息的问题。香农信息论迅速发展成为涉及范围极其广泛的广义信息论——信息科学。信息论的研究对象是广义的通信系统不仅包括电话、电报、电视和雷达等狭义的通信系统而且包括生物有机体的遗传系统、神经系统和视觉系统甚至人类社会的管理系统等即信息论将所有的信息传输系统都抽象成如图所示的通信系统模型。1. 信源产生消息的源头。把客观事物转换成原始消息。分为离散信源文字、字符、连续信源语音、视频。例你对着手机说话你的声音就是信源。2. 编码器分为信源编码 信道编码信源编码压缩冗余减少数据量比如JPG图片压缩、MP3音频压缩信道编码增加少量冗余抵抗传输噪声降低出错概率3.调制器调制器负责将编码器输出的符号转换为适合信道传输的信号目的是提高传输效率。例如0和1两个符号经过调制器后变换为两个电平信号。如果要进行远距离传输还可进行载波调制。将电平信号变换为高频谐波。为了分析方便也可以将调制器看作编码器的一部分4. 信道信号传输的物理媒介。光纤、空气无线WiFi、电缆都属于信道。信道会引入干扰也就是噪声。5.解调器解调器位于信息的接收端负责将信道输出信号转化为符号是调制器的逆变换。6. 译码器编码器的逆操作。把收到的信号还原成原始消息。分为信道译码、信源译码。7. 信宿消息的接收终端接收、解读消息。例手机扬声器播放声音你听到语音你就是信宿。
《信息论基础》翟明岳第一章 绪论 学习笔记前言信息论之父——克劳德·香农克劳德·艾尔伍德·香农Claude Elwood Shannon1919—2001美国数学家信息论的创始人被誉为“信息时代之父”。1948年香农在《Bell System Technical Journal》发表划时代论文《通信的数学理论》正式宣告信息论这门全新学科诞生。1949年他又在同一期刊发表《噪声下的通信》。在这两篇里程碑式论文中香农阐明通信的基本问题给出通信系统经典模型提出信息量的数学表达式解决了信道容量、信源统计特性、信源编码、信道编码等一系列核心基础问题。这两篇论文也成为信息论的奠基性著作。在香农之前人们只能凭经验定性理解通信而香农第一次用数学定义了信息信息是用来消除随机不确定性的东西。他引入熵、比特、互信息等概念搭建起整个现代数字通信的理论根基。今天我们使用的手机通信、WiFi、图片视频压缩、存储技术全部建立在香农信息论的理论之上。一、信息的概念分清「信息、消息、信号」核心一句话信息是一个抽象的概念信息包含在消息之中消息是信息的载体信号是消息的表现形式消息是信号的具体内容。1. 香农对信息的定义信息是用来消除随机不确定性的东西。一则消息之所以包含信息是因为它带有不确定性完全确定、已知的消息不携带任何信息。通信的目的就是消除或者部分消除这种不确定性。例抛硬币在不知道正反面结果前存在不确定性得知抛掷结果不确定性被消除我们就获得了信息。香农信息定义信息是对事物运动状态或者存在方式的不确定性的描述从随机性、概率角度理解信息。举个生活化例子天气预报“明天太阳从东边升起”这件事百分百确定没有信息天气预报“明天有暴雨”这件事存在不确定性这条消息就携带了信息。2. 三者对比辨析3. 信息的基本特性可度量信息可以用数学公式定量计算可传递可以跨越空间传输可压缩消息存在冗余可以精简信源编码核心可共享信息传递后发送方不会丢失原有信息存在噪声干扰传输过程容易被干扰产生错误4.信息量的度量思维与简单实例信息是可以度量的。哈特莱最早提出利用对数函数衡量信息量大小消息信息量等于符号取值个数的对数。例子1抛掷硬币只有2种结果信息量log2²1bit例子2十进制数字有0~9共10种符号信息量log2¹⁰3.3219bit香农进一步完善信息量不仅和符号数量有关还和事件发生概率不确定性有关。事件发生概率越小不确定性越大获得的信息量越大。例不均匀硬币正面概率90%、反面概率10%抛出反面时得到的信息量远大于抛出正面。5.信息论发展关键人物与时间线·1924年奈奎斯特研究电报脉冲速率与信道带宽的关系·1928年哈特莱区分消息与信息提出对数度量信息·1935年阿姆斯特朗提出增大带宽提升通信抗干扰能力·1948年香农《通信的数学理论》信息论正式诞生提出信息熵·1949年香农《噪声下的通信》通信核心问题噪声环境下可靠、有效传递信息解决手段为编码·1959年香农《保真度准则下的离散信源编码定理》建立信息率失真理论二、通信系统模型信息论从诞生到现在虽然只有短短几十年的时间但它的发展对学术界和人类社会的影响非常广泛和深刻。如今信息论的研究内容不仅包括通信系统还包括所有与信息有关的自然和社会领域如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至社会学中有关信息的问题。香农信息论迅速发展成为涉及范围极其广泛的广义信息论——信息科学。信息论的研究对象是广义的通信系统不仅包括电话、电报、电视和雷达等狭义的通信系统而且包括生物有机体的遗传系统、神经系统和视觉系统甚至人类社会的管理系统等即信息论将所有的信息传输系统都抽象成如图所示的通信系统模型。1. 信源产生消息的源头。把客观事物转换成原始消息。分为离散信源文字、字符、连续信源语音、视频。例你对着手机说话你的声音就是信源。2. 编码器分为信源编码 信道编码信源编码压缩冗余减少数据量比如JPG图片压缩、MP3音频压缩信道编码增加少量冗余抵抗传输噪声降低出错概率3.调制器调制器负责将编码器输出的符号转换为适合信道传输的信号目的是提高传输效率。例如0和1两个符号经过调制器后变换为两个电平信号。如果要进行远距离传输还可进行载波调制。将电平信号变换为高频谐波。为了分析方便也可以将调制器看作编码器的一部分4. 信道信号传输的物理媒介。光纤、空气无线WiFi、电缆都属于信道。信道会引入干扰也就是噪声。5.解调器解调器位于信息的接收端负责将信道输出信号转化为符号是调制器的逆变换。6. 译码器编码器的逆操作。把收到的信号还原成原始消息。分为信道译码、信源译码。7. 信宿消息的接收终端接收、解读消息。例手机扬声器播放声音你听到语音你就是信宿。
