前言第二章很多同学第一个翻车点公式不长看着简单但是经常分不清自信息和熵。网上很多笔记只会说“惊喜值”咱们换个更好玩的说法意外分。一件事越出乎意料它的意外分就越高。结合理论小故事人话讲清楚看完不用死硬背。相关小故事早在香农出手之前哈特莱1928年就想到了一堆等概率符号信息量和符号数量取对数挂钩。但是这个方案有短板现实里绝大多数事件概率不一样有的稀罕、有的天天发生哈特莱这套没法处理。香农保留对数的形式又从热力学借来“熵”这个名字。热力学熵描述微观粒子乱不乱信息熵用来描述一件事到底有多难预判。⚠️考试坑提醒两个熵长得像但根本不是一回事简答写错直接扣分前置小提醒这一章全靠概率论打底贝叶斯公式一定要熟后面条件熵、互信息全要用到别等到后面再回头补。二、自信息量 I(x_i)I(x_i)-\log_2 p(x_i)单位bit理解自信息 这件事发生带给你的意外分概率极小的冷门事件突然发生意外感爆炸自信息很大百分之百会发生的事毫无意外自信息0。几条简单性质1. 概率越小意外分越高2. p1I0概率无限趋近0信息量直接冲向无穷3. 信息量不会是负数一件事不可能“负意外”。重点自信息只针对单独一件事、单个符号这件事发生了才有这个值是随机的。三、信息熵 H(X)熵就是这个信源所有符号意外分的平均值也就是平均意外度。H(X)-\sum_{i} p(x_i)\log_2 p(x_i)拿二元信源举例只有0和1P(1)pP(0)1-p二元熵H(p)-p\log_2 p-(1-p)\log_2(1-p)p0.50和1对半开完全猜不到下一个是啥平均意外拉满H1\ \text{bit}p0或者p1永远只输出同一个符号毫无悬念熵0本章学习思路1. 刷题循序渐进先算单个事件自信息 → 再算整个信源熵 → 吃透二元熵曲线2. 自己动手画一遍二元熵曲线最高点在0.5这个考点选择填空反复考3. 做一张对比小卡片自信息单次事件随机单次意外熵整个信源平均值整体好不好猜❌高频误区避雷别搞错熵很大 ≠ 你收获了很多信息✅真相熵大只是代表这件事本来很难猜只有消息到来之后被抹平的那一部分不确定才是你拿到的信息。趣味小知识对数底数可以换着玩底数2 → bit适配二进制底数10叫哈特莱自然常数e叫奈特。香农选2不是随便挑的是专门适配当时正在崛起的二进制数字电路于是bit一路火到现在。小结自信息量单条事件衡量有多出人意料信息熵整体平均衡量整个信源好不好预判。思维导图文本脑洞思考题均匀六面骰子和一个被动过手脚、更容易投出6的骰子哪个熵更高下期预告联合熵、条件熵、互信息搞懂两个信号之间偷偷共享了多少线索。
前言第二章很多同学第一个翻车点公式不长看着简单但是经常分不清自信息和熵。网上很多笔记只会说“惊喜值”咱们换个更好玩的说法意外分。一件事越出乎意料它的意外分就越高。结合理论小故事人话讲清楚看完不用死硬背。相关小故事早在香农出手之前哈特莱1928年就想到了一堆等概率符号信息量和符号数量取对数挂钩。但是这个方案有短板现实里绝大多数事件概率不一样有的稀罕、有的天天发生哈特莱这套没法处理。香农保留对数的形式又从热力学借来“熵”这个名字。热力学熵描述微观粒子乱不乱信息熵用来描述一件事到底有多难预判。⚠️考试坑提醒两个熵长得像但根本不是一回事简答写错直接扣分前置小提醒这一章全靠概率论打底贝叶斯公式一定要熟后面条件熵、互信息全要用到别等到后面再回头补。二、自信息量 I(x_i)I(x_i)-\log_2 p(x_i)单位bit理解自信息 这件事发生带给你的意外分概率极小的冷门事件突然发生意外感爆炸自信息很大百分之百会发生的事毫无意外自信息0。几条简单性质1. 概率越小意外分越高2. p1I0概率无限趋近0信息量直接冲向无穷3. 信息量不会是负数一件事不可能“负意外”。重点自信息只针对单独一件事、单个符号这件事发生了才有这个值是随机的。三、信息熵 H(X)熵就是这个信源所有符号意外分的平均值也就是平均意外度。H(X)-\sum_{i} p(x_i)\log_2 p(x_i)拿二元信源举例只有0和1P(1)pP(0)1-p二元熵H(p)-p\log_2 p-(1-p)\log_2(1-p)p0.50和1对半开完全猜不到下一个是啥平均意外拉满H1\ \text{bit}p0或者p1永远只输出同一个符号毫无悬念熵0本章学习思路1. 刷题循序渐进先算单个事件自信息 → 再算整个信源熵 → 吃透二元熵曲线2. 自己动手画一遍二元熵曲线最高点在0.5这个考点选择填空反复考3. 做一张对比小卡片自信息单次事件随机单次意外熵整个信源平均值整体好不好猜❌高频误区避雷别搞错熵很大 ≠ 你收获了很多信息✅真相熵大只是代表这件事本来很难猜只有消息到来之后被抹平的那一部分不确定才是你拿到的信息。趣味小知识对数底数可以换着玩底数2 → bit适配二进制底数10叫哈特莱自然常数e叫奈特。香农选2不是随便挑的是专门适配当时正在崛起的二进制数字电路于是bit一路火到现在。小结自信息量单条事件衡量有多出人意料信息熵整体平均衡量整个信源好不好预判。思维导图文本脑洞思考题均匀六面骰子和一个被动过手脚、更容易投出6的骰子哪个熵更高下期预告联合熵、条件熵、互信息搞懂两个信号之间偷偷共享了多少线索。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
