贝叶斯概率公式贝叶斯公式是概率论中非常核心的一个工具它的核心理念就是如何根据新出现的信息或证据去修正我们对某个事物原有的看法。下面用一个生动的生活场景来解释然后再拆解那些专业术语。一、 一个通俗的生活例子医生诊断假设某种罕见病在人群中的发病率是1%。现在有一种检测该病的试剂盒它的准确率是90%也就是说如果一个人确实得病了试剂盒有 90% 的概率测出阳性。现在你随便在街上找了一个人进行测试结果呈现阳性。请问这个人真的得病的概率是多少很多人直觉上会脱口而出“既然试剂盒准确率是 90%那他得病的概率不就是 90% 吗”答案是错他得病的概率其实只有大约 8.33%。为什么会这样这就是贝叶斯公式要解决的问题。我们用“数人头”的方式算一下二、 严谨的“数人头”推导假设我们对1000 个人进行筛查第一步划分健康人群和患病人群基于 1% 的发病率真有病的人1000×1%101000 \times 1\% \mathbf{10}1000×1%10人。健康的人1000−109901000 - 10 \mathbf{990}1000−10990人。第二步看测试结果基于 90% 准确率 / 10% 误差率在有病的 10 个人中试剂盒准确率是 90%所以有10×90%910 \times 90\% \mathbf{9}10×90%9人会被测出阳性真阳性。在健康的 990 个人中试剂盒有 10% 的误差率所以有990×10%99990 \times 10\% \mathbf{99}990×10%99人会被错误地测出阳性假阳性/误诊。第三步计算概率现在测试结束了。所有被测出“阳性”的人站在一旁总共有多少人阳性总人数9人真有病99人健康被误诊1089\text{人真有病} 99\text{人健康被误诊} \mathbf{108}9人真有病99人健康被误诊108人。在这 108 个拿到“阳性报告”的人里面真正有病的其实只有那 9 个人。所以这个人真正得病的概率是真实得病概率9108112≈8.33%\text{真实得病概率} \frac{9}{108} \frac{1}{12} \approx \mathbf{8.33\%}真实得病概率1089121≈8.33%这个 8.33% 就是我们要找的后验概率。即使拿到了阳性报告他真正得病的概率也只有 8.33% 左右而不是直觉上的 90%。二、 什么是先验概率和后验概率结合上面的例子我们来理解人们常说的“先验”和“后验”。1. 先验概率Prior ProbabilityP(B)P(B)P(B)通俗解释在没有得到任何新证据之前你对某个事物概率的初始估计。它通常来自历史数据、常识或统计规律。例子中在做测试之前我们知道这个病在人群中的发病率是 1%。这个1%就是先验概率。2. 后验概率Posterior ProbabilityP(B∣A)P(B|A)P(B∣A)通俗解释在拿到了新证据或观察到新数据之后你对该事物概率做出的修正。例子中在拿到“测试结果为阳性”这个新证据后我们把得病的概率从 1% 修正到了8.33%。这个 8.33% 就是后验概率。3. 似然LikelihoodP(A∣B)P(A|B)P(A∣B)通俗解释如果假设成立观察到这个新证据的可能性有多大。例子中如果这个人确实得病了假设成立试剂盒测出阳性新证据的概率是90%。三、 重新审视贝叶斯公式现在我们再来看贝叶斯公式P(B∣A)P(A∣B)P(B)P(A)P(B \mid A) \frac{P(A \mid B) P(B)}{P(A)}P(B∣A)P(A)P(A∣B)P(B)我们可以把这个公式翻译成更直观的语言后验概率新看法似然新证据的含金量×先验概率旧看法标准化常量新证据出现的总概率\text{后验概率新看法} \frac{\text{似然新证据的含金量} \times \text{先验概率旧看法}}{\text{标准化常量新证据出现的总概率}}后验概率新看法标准化常量新证据出现的总概率似然新证据的含金量×先验概率旧看法对应我们例子中的含义P(B)P(B)P(B)先验概率在做测试前这个人得病的初始概率。也就是发病率1%即 0.01。P(A∣B)P(A|B)P(A∣B)似然如果他真的得病了测试呈阳性的概率。也就是准确率90%即 0.9。P(A)P(A)P(A)全概率所有人中测试呈阳性的总概率。它的计算方式是真得病且呈阳性的概率健康但被误诊呈阳性的概率\text{真得病且呈阳性的概率} \text{健康但被误诊呈阳性的概率}真得病且呈阳性的概率健康但被误诊呈阳性的概率即P(A)1%×90%99%×10%0.0090.0990.108P(A) 1\% \times 90\% 99\% \times 10\% 0.009 0.099 0.108P(A)1%×90%99%×10%0.0090.0990.108即 10.8%。P(B∣A)P(B|A)P(B∣A)后验概率在看到阳性结果后他真正得病的概率。代入公式P(B∣A)0.9×0.010.1080.0090.108≈8.33%P(B \mid A) \frac{0.9 \times 0.01}{0.108} \frac{0.009}{0.108} \approx \mathbf{8.33\%}P(B∣A)0.1080.9×0.010.1080.009≈8.33%四、 贝叶斯公式的核心思想如果用一句话来概括贝叶斯公式的精髓那就是我们的认知是由“先验偏见”和“新事实”共同决定的。不能忽视先验概率如果一个事情发生的概率本来就极低比如中彩票、遇到外星人、得罕见病即使你看到了一个看起来很像的“证据”它真实发生的概率依然可能不高。认知是不断迭代的如果你连续测试了两次都是阳性呢此时第二次计算的“先验概率”就不再是 1% 了而是第一次计算出来的“后验概率” 15.2%。随着新证据源源不断地进来你的后验概率会越来越接近真相。这也是为什么在医学筛查中如果某种病非常罕见先验概率极低医生绝对不会仅仅根据一次筛查呈阳性就给你确诊通常需要你做第二次、第三次不同原理的检测。因为每一次新的检测都会把上一次计算出来的“后验概率”作为新的“先验概率”进行重新迭代最终让诊断概率无限逼近 100%。在机器学习和分类问题中如垃圾邮件分类贝叶斯分类器正是利用了这一原理通过统计历史邮件中某些词如“中奖”、“发票”出现的频率作为先验和似然当一封新邮件进来时计算它是垃圾邮件的“后验概率”从而做出准确的分类。
贝叶斯概率公式贝叶斯公式是概率论中非常核心的一个工具它的核心理念就是如何根据新出现的信息或证据去修正我们对某个事物原有的看法。下面用一个生动的生活场景来解释然后再拆解那些专业术语。一、 一个通俗的生活例子医生诊断假设某种罕见病在人群中的发病率是1%。现在有一种检测该病的试剂盒它的准确率是90%也就是说如果一个人确实得病了试剂盒有 90% 的概率测出阳性。现在你随便在街上找了一个人进行测试结果呈现阳性。请问这个人真的得病的概率是多少很多人直觉上会脱口而出“既然试剂盒准确率是 90%那他得病的概率不就是 90% 吗”答案是错他得病的概率其实只有大约 8.33%。为什么会这样这就是贝叶斯公式要解决的问题。我们用“数人头”的方式算一下二、 严谨的“数人头”推导假设我们对1000 个人进行筛查第一步划分健康人群和患病人群基于 1% 的发病率真有病的人1000×1%101000 \times 1\% \mathbf{10}1000×1%10人。健康的人1000−109901000 - 10 \mathbf{990}1000−10990人。第二步看测试结果基于 90% 准确率 / 10% 误差率在有病的 10 个人中试剂盒准确率是 90%所以有10×90%910 \times 90\% \mathbf{9}10×90%9人会被测出阳性真阳性。在健康的 990 个人中试剂盒有 10% 的误差率所以有990×10%99990 \times 10\% \mathbf{99}990×10%99人会被错误地测出阳性假阳性/误诊。第三步计算概率现在测试结束了。所有被测出“阳性”的人站在一旁总共有多少人阳性总人数9人真有病99人健康被误诊1089\text{人真有病} 99\text{人健康被误诊} \mathbf{108}9人真有病99人健康被误诊108人。在这 108 个拿到“阳性报告”的人里面真正有病的其实只有那 9 个人。所以这个人真正得病的概率是真实得病概率9108112≈8.33%\text{真实得病概率} \frac{9}{108} \frac{1}{12} \approx \mathbf{8.33\%}真实得病概率1089121≈8.33%这个 8.33% 就是我们要找的后验概率。即使拿到了阳性报告他真正得病的概率也只有 8.33% 左右而不是直觉上的 90%。二、 什么是先验概率和后验概率结合上面的例子我们来理解人们常说的“先验”和“后验”。1. 先验概率Prior ProbabilityP(B)P(B)P(B)通俗解释在没有得到任何新证据之前你对某个事物概率的初始估计。它通常来自历史数据、常识或统计规律。例子中在做测试之前我们知道这个病在人群中的发病率是 1%。这个1%就是先验概率。2. 后验概率Posterior ProbabilityP(B∣A)P(B|A)P(B∣A)通俗解释在拿到了新证据或观察到新数据之后你对该事物概率做出的修正。例子中在拿到“测试结果为阳性”这个新证据后我们把得病的概率从 1% 修正到了8.33%。这个 8.33% 就是后验概率。3. 似然LikelihoodP(A∣B)P(A|B)P(A∣B)通俗解释如果假设成立观察到这个新证据的可能性有多大。例子中如果这个人确实得病了假设成立试剂盒测出阳性新证据的概率是90%。三、 重新审视贝叶斯公式现在我们再来看贝叶斯公式P(B∣A)P(A∣B)P(B)P(A)P(B \mid A) \frac{P(A \mid B) P(B)}{P(A)}P(B∣A)P(A)P(A∣B)P(B)我们可以把这个公式翻译成更直观的语言后验概率新看法似然新证据的含金量×先验概率旧看法标准化常量新证据出现的总概率\text{后验概率新看法} \frac{\text{似然新证据的含金量} \times \text{先验概率旧看法}}{\text{标准化常量新证据出现的总概率}}后验概率新看法标准化常量新证据出现的总概率似然新证据的含金量×先验概率旧看法对应我们例子中的含义P(B)P(B)P(B)先验概率在做测试前这个人得病的初始概率。也就是发病率1%即 0.01。P(A∣B)P(A|B)P(A∣B)似然如果他真的得病了测试呈阳性的概率。也就是准确率90%即 0.9。P(A)P(A)P(A)全概率所有人中测试呈阳性的总概率。它的计算方式是真得病且呈阳性的概率健康但被误诊呈阳性的概率\text{真得病且呈阳性的概率} \text{健康但被误诊呈阳性的概率}真得病且呈阳性的概率健康但被误诊呈阳性的概率即P(A)1%×90%99%×10%0.0090.0990.108P(A) 1\% \times 90\% 99\% \times 10\% 0.009 0.099 0.108P(A)1%×90%99%×10%0.0090.0990.108即 10.8%。P(B∣A)P(B|A)P(B∣A)后验概率在看到阳性结果后他真正得病的概率。代入公式P(B∣A)0.9×0.010.1080.0090.108≈8.33%P(B \mid A) \frac{0.9 \times 0.01}{0.108} \frac{0.009}{0.108} \approx \mathbf{8.33\%}P(B∣A)0.1080.9×0.010.1080.009≈8.33%四、 贝叶斯公式的核心思想如果用一句话来概括贝叶斯公式的精髓那就是我们的认知是由“先验偏见”和“新事实”共同决定的。不能忽视先验概率如果一个事情发生的概率本来就极低比如中彩票、遇到外星人、得罕见病即使你看到了一个看起来很像的“证据”它真实发生的概率依然可能不高。认知是不断迭代的如果你连续测试了两次都是阳性呢此时第二次计算的“先验概率”就不再是 1% 了而是第一次计算出来的“后验概率” 15.2%。随着新证据源源不断地进来你的后验概率会越来越接近真相。这也是为什么在医学筛查中如果某种病非常罕见先验概率极低医生绝对不会仅仅根据一次筛查呈阳性就给你确诊通常需要你做第二次、第三次不同原理的检测。因为每一次新的检测都会把上一次计算出来的“后验概率”作为新的“先验概率”进行重新迭代最终让诊断概率无限逼近 100%。在机器学习和分类问题中如垃圾邮件分类贝叶斯分类器正是利用了这一原理通过统计历史邮件中某些词如“中奖”、“发票”出现的频率作为先验和似然当一封新邮件进来时计算它是垃圾邮件的“后验概率”从而做出准确的分类。
