序言今天我们来讲讲概率统计和数据科学的一些有启发的模型。 我做过人工智能公司，所以在过去十几年我亲眼看见数据科学的发展如何把人工智能，这门原来像玩具一样的冷门学科，变成像今天一样强大无比、炙手可热的超级学科。 今天很多高端行业都离不开概率统计，大数据、人工智能、医药研发、金融工具设计都是如此。 为什么概率这么重要？ 因为不确定性才是这个世界的常态，而概率论恰好提供量化不确定性的方法，所以它就成为了带领人类进入不确定性时代的一把钥匙。 比如人工智能里最重要的机器学习对概率论的使用就非常多，这和主流计算机工程师常见的工作环境有很大的差别。 程序员通常可以假设 CPU 可以完美执行每一条指令，所以大部分软件应用在设计时并不需要考虑随机性这个因素。 如今即使是工程师，进入人工智能世界也需要像普通人一样重新去了解概率和统计。 所以这也是我们今天这节课要讲的东西，在概率和统计世界里找到一些有用的思维框架介绍给大家。 1 概率论 反直觉首先我要提醒大家，概率论本身非常反直觉，因为我们人类进化速度太慢，所以我们的大脑结构比较适用于解释古代环境里生存成长的一些现象，而不太适应这个日新月异的现代社会。 过去我们依靠本能就能在传统社会里面应付自如，但今天就显得漏洞百出。 假如现在张三去医院检查身体，医生告诉他检查结果推断张三有 99% 的概率患上了亨廷顿舞蹈症。
因为是罕见疾病，所以检测结果有一定概率出错，误诊率为1%，这个数据看起来微乎其微。
而真实患病可以被诊断出的概率是 99% ≈ 1 。 结合这几个数据，我们可以估算一下张三真实患有亨廷顿舞蹈症的概率是多少？ A. 99% B. 50% C.10% D. 1% 你觉得是哪一个更接近？ 首先会有一部分人肯定马上就选 A——报告说 99%，那就是 99%。 这部分人是凭借本能在思考问题，完全没有概率思考的习惯。 稍微有概率思考习惯的人会觉得既然是罕见病，那真实的可能性就应该小于 99% ，有可能是10%。 这个有进步，看起来像一个有判断力的人。 实际答案是多少呢？ 1% 这就是概率科学最反常识的地方，因为这个例子有两个大家很容易忽略的数字。 第一，每 10 万人里面只有 4 - 8 人有这种病。 第二，没得病的人被误诊的概率是 1%，这个数字看起来微不足道，但它恰恰是问题关键，为什么？ 10 万人只有 4-8 人可能得病，为了简化运算，我们按 10 人来算，患病率是10/100000  按这个比例，每 10 万人有多少没有亨廷顿舞蹈症的呢？ 99, 990 那么剩下的 10 人都有这种病，且他们都被检查出来了。 而另外的 99, 990 人也去检查，里面就会有 999 人本来没病但被误诊的。
注意，这 999 个误诊的人就是计算最终概率的关键所在。 因为这 999 个人跟实际得病的那 10 人加起来，一共是 1009 人。 每 10 万人参加检查，就有 1009 人最终被诊断为患有亨廷顿舞蹈症。 张三就是 1009 人之一，而 1009 人中只有 10 个人是真正有病的。 所以张三的真实得病概率是 10/1009 ，它是小于1%的。  这是理解概率论非常重要的案例，所以我们再复习一下。 这里面有3个关键数值—— 第一，报告推断出此人有 99% 可能得病。 第二，报告有 1% 的误诊率（把没病的人确诊为有病的人）。 第三，此病真实得病率只有 0.01%。 大家最容易观察到的是那个 99% 的推断得病率，但忽略了它背后两个隐藏的比率。 第一，罕见病得病率只有 0.01% 。 第二，1% 的误诊率看起来虽微不足道，但如果把它跟罕见病极低的得病率（0.01%）相除，就可能产生一个巨大的数字，大到足以颠覆我们的直觉。  1.1 启发 如果我们生活中要对很小概率的事情做推断，那么一定要关注推断的错误率，哪怕错误率只有 1%，如果这个事情实际发生概率远远小于 1% ，那么它就足以把上面那个错误的绝对数字变得非常大，这就是小概率事件给人类造成的最大错觉。 比如马云告诉你梦想还是要有的，只要有梦想你也可以成为下一个马云。 但马云没有告诉你 10 亿人里也只有 10 个能达到马云财富级别的人，这个比例是亿分之一，是极小概率事件，成为马云在概率上比患有亨廷顿舞蹈症的概率还小 1 万倍，这个数字会颠覆一切，这是非常极端的幸存者偏差。 2 贝叶斯公式贝叶斯公式长这样，我详细解释一下不同模块的含义。  用一个例子来解释下这个公式。 2.1 举例 运动员药检 比如检测一个运动员是否使用违禁药， 
假设这种违禁药的使用概率非常低，只有 0.1%。
违禁药被检出来的概率为 95%
但是他没有用违禁药，也有 10%概率会被冤枉。
那在该情况下，如果这个运动员被检出了使用违禁药，他真正犯错的概率是多大？ 那么使用上面的贝叶斯公式就是  如果只有一次，只有 0.009 的概率这个人是有问题的。 如果第二次检查也查出阳性，根据这个公式再算一遍，就会发现概率上升了，从刚才的 0.009 变成了0.079。 如果第三次检查还是查出阳性，概率会变成 0.45 。  从 0.009 到 0.079 到 0.45，首先我们看到的是每次新增同样的证据对整体概率的提升并不是一点点，而是量级上的提升，比如这里面每一次都让可能性上升将近 10 倍。 但这还不是我们最意外的地方，最让人意外的地方是你看一个人如果连续3次药检都呈阳性，那正常人马上觉得这个人必然是 100% 使用违禁药的人，这还有假吗？ 但实际上 3 次阳性过后，他的可能性仍然只有 0.45，连一半都不到，这是非常反常识的。 之所以会出现这样的现象，还是因为实际使用这种罕见违禁药的概率 0.001 在作怪。 2.2 启发 我们去看身边新闻时，如果只关注新闻表面，看到某些很罕有的事件连续发生了两次。 此时很多媒体说：“你看世界变了，未来会……，整个世界会翻天覆地……”。 但是如果我们自己在下判断之前，再深入思考这两个问题，就会有不一样的答案。 1 这件事情情被误判的可能性有多大？哪怕它只有很小的可能性被误判，但还是存在的。 2 ★这个事情在真实世界里面发生的概率有多小？ 这就涉及统计学中一个非常关键的概念——先验概率（又称基础概率） 3 基础概率基础概率说的是一件事情在过去统计中已经被验证的发生的概率。 比如上面亨廷顿舞蹈症万分之一的概率，成为马云的亿分之一的概率，都是基础概率。 可以说在现实生活中做很多事情是基础概率决定成败，而不是努力程度。 你想成为马云，基础概率就决定了你极难成功，不管你每天有多努力，每天只睡 3 小时也没有意义。 我们对于基础概率并不需要有非常清晰的计算，但是却需要有量级的判断力。 量级就是 ×10 ，个、十、百、千、万，这些概念之间差的就是一个量级。  在商业竞争中，假设有两个公司他们业绩相差几倍，那么这两家公司之间还是可以好好争一争的，因为他们还是在同一个量级上的。 但如果是一家公司比另外一家公司业绩大了 10 倍，那么这两家公司基本上就没得争，除非是开辟新战场，因为量级产生碾压的结果就是很难翻盘。 这就是孙子讲的打胜仗的十倍压制原理。 在学习上也是类似，如果两个人在年级排名上，一个排在第 5，一个排在第 9 ，那么这两个人的差距并没有拉开，但一个人如果排在第 5，另外一个人排在第 50，那么这种差距往往就是很难追赶的。 3.1 基础概率对于最终概率的影响 从数学上进一步解释基础概率对于最终概率的影响，把上面的公式简写成更简单的模型。  基础概率是分子 P(A) 。 刚才讲的药检结果，是这个新证据的分母部分 P(B)。 药检的正确率就是似然度的部分。 “=” 前面的后验概率，评估一个人是否得罕见病或者是否用违禁药的概率。 根据数学正比原理可知，基础概率与最终概率之间实际上是一个正相关关系。 3.1.1 启发 贝叶斯公式告诉我们，如果想做事情更容易成功，那么选对一个更合适的战场确实比努力更重要。 因为我们大量的努力都可能是在加减法的级别上改变最终结果。但是如果这些努力被乘以一个极小的基础概率，就等于在量级上被降维打击了。 比如你是一个男生，想让自己大学时更容易有机会谈恋爱，不断努力让自己变得更聪明更帅，都是做加法，关键是要选对你就读的学校。
很多时我们真的不是努力不够，而是所在的土壤太贫瘠、所在的平台基础太差。 这个原理适用于选城市、选学校、选行业、选公司。 为什么我的视频内容特别喜欢讲宏观层面的东西，比如行业大趋势、国家大战略，因为这些东西真的是跟基础概率特别高相关。 如果在 10 年之前，大家看到中国的货币 M2 增速，就一定会明白当时房地产上涨是必然的结果。 比如在 2021 年，你如果对中国的 2035 年远景规划有一定的了解，就知道芯片、环保、大消费这些行业在成长基础概率上都是很高的领域。 选择正确的大方向就类似查理芒格所说， 他的一生都在努力寻找那种跨越只有一尺高的低矮无比的围栏，而避开那种需要蹦得老高才能够跨越的围墙。 ——查理芒格 这说的也是选择高基础概率的道理。 那么说完基础概率，我们再看下面这道公式。 3.2 举例 “贝叶斯”的微笑 为了让大家更深刻的理解贝叶斯，我们再举一个例子。 假设你是个男同学，想象一下你在楼下小卖部有一个小姑娘叫小芳，有一天你路过时，小芳对你笑了，笑得很灿烂。 那么请问从小芳对你笑这件事情，我们就能够推断出他喜欢你的概率有多少？ 要回到这个问题要用贝叶斯公式进行分解  我们要估算的答案在左边 P(L|S) ，指小芳对你笑之后，你推断出来她喜欢你的新概率。 新概率对应的旧概率为P(L)，指小芳喜欢你的基础概率。
那么这个基础概率应该乘以一个小芳喜欢一个人就会对他笑的概率，就是 P(S|L) 为什么要乘以这个概率呢？
然后还得除以一个小芳平时会笑的概率，这个数值是越低越好，因为它跟最终结果成反比。
通过这个例子，你应该能够更好地理解贝叶斯公式，也就学会了评估楼下小卖部的小芳对你微笑，代表他喜欢你的概率，你看数学还是很有用的。 3.3 P(L|S)解释 这里面还有一个问题， P(L|S) 是什么意思？ 它是条件概率的一个符号，P 是概率的标识。 比如 P(A) 指的是 A 发生的概率。 那么 P(A丨B) 描述的是一种条件概率（如下图）  假设有两件事情，一个 A，一个是 B，他们独立发生但有交集。 那么 P(A丨B) 这个条件概率就是在 B 这件事情发生的条件下， A 这件事情发生的概率，所以它是用 A B 两者的交集 ÷ B 的面积计算出的结果。 3.4 启发 上面我花了很多篇幅去讲贝叶斯，因为这是概率统计最重要的一个模型。 比如你看到身边有个朋友没读大学出来赚了很多钱，于是你就觉得读大学也没什么用，这就是没有理解贝叶斯的原理。 没有读大学就成功的同学也是提供了一个新的证据，但从整个社会来看非大学学历者成功的概率就是远低于大学学历者，这个才是起决定作用的基础概率。 但是我们反过来想，如果你开始连续看到身边各种没读大学的朋友都混得很好，那么贝叶斯公式同样可以给我们启发。回忆上面药检的例子，当新证据不断叠加时，最终概率是会不断高速增加的，每增加一个证据，就有可能让最终概率提高 10 倍而不是两倍。 这也意味着就算基础概率很小，但如果新证据层出不穷，最终概率也有可能会慢慢变得很大。 When the facts change, I change my mind。——凯恩斯 所以从一条小小的贝叶斯公式里面其实看到深刻的哲学。某种程度上，贝叶斯是数学版本的辩证法，它启发我们需要很冷静地看待事物的基础概率，不要被那些表面现象迷惑，但你同时要在新证据、新信息不断积累时及时调整对全局的评估。 在概率论里面，还有几个充满思辨哲学意味的模型，比如均值和异常值的概念 4 均值和异常值4.1 平均值 平均值的思想深深地植根在我们大脑里面。 因为我们在漫长的远古时代所能接受的最直观的概率分布就是正态分布。 比如成年人的身高就像正态分布排列的那样，长得特别高超过 2 米的成人和长得特别矮低于 1 米的成人都很少，大多数成年人身高都集中在腰部这个部分，所以平均身高的这个数字很有意义，平均体重也是如此。 但是你看平均财富就很没有意义，按照人均 GDP 来计算一个国家实力，其实很难反映这个国家真实的经济实力，要知道中国人均 GDP 比俄罗斯还低一样。 股票市场上的平均收益也没有什么意义，比如有一个公司，假设它过去 5 年每个月的盈利情况如下图所示，绿色柱代表盈利，红色柱代表亏损。 按照平均值计算，它有 8% 的月均收益率，这似乎是一个非常不错的数字，但问题是其中有一条红色柱子特别深，这意味着什么？ 这个月公司亏损极其严重，亏损率接近90%，已经消耗掉了公司所有的现金流。 从这个角度，哪怕最后两个月它重新盈利，也已经回天乏术然后就倒闭了。 你看如果按照平均收益率来观察这家公司，你就会觉得非常费解。一家一直以每个月 8% 的收益率赚钱的公司，怎么突然间就倒闭了呢？ 但如果按照异常值的指标来观察这家公司就一目了然。 因为公司在经营的倒数第三个月经历了一次异常经营状况，一个公司的生命能否延续，并不是光看它的平均情况，而是要看它在遭遇重大困难、遇到异常情况时还有没有能力自保。 我们看一个人同理，有的人在顺风顺水时一直发挥良好，但如果遇到突发性的重大挫折可能一下子就完全崩溃了，做出不可挽回的错误决定，然后彻底葬送自己的人生。 比如之前在游戏圈里面有一个高管，之前人生一直很顺利，但突然之间遭遇到辞退，完全无法接受，竟然决定要投毒杀死公司老板，最后老板被杀，这高管也被关进监狱，这就是最典型的例子，人生之前一直顺风顺水，只要有一次异常情况，就足以彻底改变全局。 所以这就要说到异常值的概念了 4.2 异常值 在统计学里，异常值是指跟平均值的偏差超过两倍标准差的数值，如下图 假设坐标轴上一堆数值很里面大部分的数值都集中在左下角。 但是有两个数值无论是在纵轴还是横轴上，都两倍高于整体的平均值。 那么我们可以很直观看到，这两个数值是被清晰地分出来的，这就是典型的异常值。 面对异常值，我们通常有三种处理方式—— A 把他们全部舍弃掉 B 把它们跟其他数值一视同仁 C 把它们单独列为一个特别的集合去研究 A 最常见，比如比赛评分时，我们经常听到“去掉一个最高分，去掉一个最低分”，目标就是要去掉异常值，让整体的分数更合理。 这么做的原因是有的评委因为个人喜好甚至个人利益，会影响专业判断而故意打高分/打低分。 这个方法它的基础假设是什么？ 这个世界是稳定的、平均的、连续的，也就是最主流的观点就是最正确的。 而与之相对的是 C ，假设这个世界是不稳定的、不均匀的、跳跃的。 在这样的世界里，虽然不是每一个异常值都值得关注，但是每一次这个世界的重大变化都会先从异常值的出现先反映出来，这就是所谓的“见微知著”。 比如之前国家叫停支付宝上市，这个在过去 20 年互联网公司发展历史里都是比较异常的情况，所以它属于典型的异常值。 当时我身边有的朋友，觉得这只是国家在整顿互联网金融行业或者在约束最头部的互联网公司不要过度扩张，对于整个互联网行业并没有很大的影响。 这种思考方式就是去掉异常值的思考方法。 但之后我们连续看到风投支持的各种互联网公司、教育公司的大调整，最初的那个异常值是一个前奏，它预示着一个新的国家监管时代的到来，而这个背后更是一场全球范围内百年不遇的大变局。 比如今年以来国家房产调控异常严厉，还有中国创业板异常表现，都是一些值得我们了解的异常值。 如果把异常值和贝叶斯公式结合起来，就会发现生活在这个时代的我们为什么需要对各种异常值提高关注度呢？ 因为 2020 年之后，整个世界变动的基础概率都变高了，各种过去几十年习以为常的秩序都在发生变化，而且这些变化牵一发动全身。 所以在基础概率大幅变动的背景下，异常值影响你最终判断的程度也变高了。 说完异常值，我们再说一个聊概率论就绕不过去的概念——大数定律。 5 大数定律5.1 举例 抛硬币 在条件不变的情况下，我们做一个实验的次数越多，那些看起来很随机的事情最终发生总概率会接近一个稳定值。比如抛硬币，如果抛 10 次、 20 次，你会发现概率分布非常不均匀，有时连续 5 次你都抛到正面或者是反面，就像图里接近 0 的地方，两种极端情况是一样的。 但是随着你抛的次数越来越多，正面和反面的概率就会越来越收敛，接近 1/2 的中线，直到最终你抛上 1 千次， 1 万次，就会发现正面和反面的概率会越来越稳定的在 1/2。 这个现象在数学上可以严格证明，它就是柯尔莫哥洛夫的——“强大数定律”。 5.2 启发 在一开始的小数据阶段，大道理可能毫无参考价值。 比如你从学校毕业出来，刚刚开始工作时可能发现自己对所谓的大道理、鸡汤完全无感，比如
你看他们描述的东西跟你身边看到的现象有巨大的差异，此时你要明白一个统计学的原理，因为年纪轻时你接触的数据样本太少，它们往往会大幅度的偏离世界的真相。 而那些能够流传数百上千年的大道理，都是经过无数次的抛硬币最终沉淀下来的统计学经验。通常随着你的年龄增加、阅历增加，会越来越发现他们说的是有道理。 当然更严重的情况是，我们生活中很多事情根本就没有所谓的大道理可以来指导，所有人不得不自己去摸索跟这个世界相处的原则。 此时理解小数据统计的结果可能会大幅偏离大数据结论这个道理就非常重要了，因为人类很难抗拒在连续抛几次硬币之后就开始总结经验这种本能。 比如你谈两次恋爱，如果对象都不靠谱，或者你找的前两份工作老板都不怎么样，那么你很可能就已经对恋爱和求职这两件事情产生了自己的经验总结，然后就会根据这个经验来指导自己的生活。 这个很可能使你生活走上一条羊肠小道，而不是康庄大道。 应对的方法是首先要让自己保持更多的耐心，做更多的尝试，拿到更多的数据之后再慢慢总结经验，不要太快给一件事情贴标签。 而与之相匹配的是我们必须保持身心健康。因为在这个不断做实验的过程中，实际上是我们在用肉身跟世界的概率打交道。如果你的肉身、体力、耐力跟不上，那么就连不断做的试验的基础都没有了。 但我也不可能在这个过程中完全不总结经验，此时再回忆一下贝叶斯公式， 这个过程中总结的经验就是所谓的先验概率P(A)， 而新证据进来之后会使我们不断地调整概率的测算，得到后验概率 在下次证据进来时，之前的后验概率又会重新放到公式里面，成为先验概率， 这样就是一个迭代循环的形成，这也就是大家常说要总结经验和复盘在数学上的表现。 6 概率分布这是我们以前在视频里面经常提到的东西，比如幂律分布就是最典型的一种概率分布， 符合幂律分布的事情有很多，比如
这个世界上最幂律分布的现象描述的词汇也很多，比如马太效应、赢家通吃、二八定律等等。 总而言之，它是一种世界观，影响我们看世界的底层假设——世界到底是平均的还是极端的。 如果我们认为这个世界是极端的，那么就必须努力让自己在某一个细分领域能够做到极致的好，这样才能在极端世界里取得高回报。 所以这个就不展开了。感兴趣的同学可以看一下我的《钱收割人的年代 六大新生存法则》和《疫情之后的新世界》这两期。 今天我们重点说一下之前说的比较少的正态分布。 我们引入三个跟它相关的重要概念——方差、标准差，平均值。 6.1 平均值 平均值最好理解，它就是曲线顶部对应到横轴红点位置的数据。 方差和标准差说的基本是同一个东西——曲线两边拉伸的程度。 方差和标准差的差别就是方差是标准差的平方，方差放大了标准差的差异。 6.2 标准差 我们现在研究一下标准差。这个图里有很多正态分布曲线， 看一下里面的蓝色线、红色线、黄色线他们的均值都是一样的。 那么谁的标准差更大？ 黄色线的标准差更大，蓝色线的标准差更小。 它的现实意义是什么？ 我们想象一下，在古代有两对武力平均值一样的队伍， 一边是江湖人士组成，一边是正规军组成， 江湖人士之间武功差异很大，有的武林高手武力值特别高，也有的人滥竽充数，打架水平，也就是农民伯伯的水平。 所以江湖人士的标准差很大，在这群人里面挑出一个人来可能是武功盖世，也可能是一个弱鸡，两者武功天壤之别。 与之相对的是正规军，虽然没有武功特别高强，而但是因为整体经过正规训练，各自武功水平差异就没有那么大了，即队伍里面武功特别差的没有。 所以我们说正规军的标准差很小，他们说就随便挑出来一个基本都能打。 6.3 方差 下面这个例子是四个不同选手投掷飞镖的例子， 比较高方差的 B 和 D 两个人和低方差的 A 和 C 两个人，可以非常直观地看出来方差代表了什么—— 它代表了结果的离散度，也代表了一个人发挥的稳定性。 这个图把方差和偏差放在一起，还有另外一个启发，我们可以很容易看出来四个选手里面得分： 最高的是 C，第二名是 D，第三名是 B，第四名是 A 。 他们就像我们生活中遇到的四种人，
毫无疑问，做一个聪明而坚定的人肯定最好，但我们要记住要努力避免做一个愚蠢而坚定的人。 6.4 启发 投掷飞镖的例子结合上面贝叶斯和大数定律可知， 在年轻时，我们通常因为眼界局限，对世界的理解偏颇的，所以容易陷入坚定的愚蠢的状态 A 。 这个时候我们需要放开心态，让自己变成一个不坚定的愚蠢的人 B 。这个时候我们要给人做加法，去拥抱新证据，去接纳很多异常值。 然后我们会逐渐发现自己有机会接触到更加聪明的跟世界相处的方法，此时我们就开始不断调整自己，进入到不坚定的聪明的状态 D 。 然后我们进入最后阶段，不断做减法，让自己逐渐只集中在最能发挥自己能力的区间 C 产生价值。 但这还不是故事的全部，因为随着时代的发展，那个圆心的位置还会偏移。 而很多成年人在第一次成功之后，之所以很难再次成功，就是因为自己没有意识到圆心已经偏离了。之前那个坚定的聪明，突然之间就变成了坚定的愚蠢。 从贝叶斯公式的角度，这就是基础概率发生了重大的改变，此时就需要再一次进入循环，再一次让自己打破之前的坚定，回到不坚定的愚蠢的状态，然后再重新调整。 7 总结今天这一课，我们了解了强大的贝叶斯公式、基础概率、均值和异常值、大数定律、概率分布以及方差、标准差的概念，希望对大家有所启发。 |
|
|
