|
贝叶斯定理的胆识 同人于野 你相信上帝吗？你相信中医吗？你相信全球变暖是人为造成的，而且问题非常严重吗？你相信转基因食品的安全性吗？你相信大年初一去雍和宫祈福能带来好运吗？ 本文不研究这些问题。我想说的是，当你说“我相信”或者“我不相信”的时候，你到底是个什么意思。 如果我们把“相信”仅仅当成一个表态，那它的意义其实相当有限。也许我们可以在跟朋友闲聊的时候吹吹，也许我们可以在网上参与评论，也许我们还能写篇文章说明自己的立场。但是这又能怎样？空谈误国。我们的观点完全不左右真理，而且通常很难左右别人。 “相信不相信”的真正意义，在于给我们自己的决策提供依据。如果我相信大年初一去雍和宫祈福能带来好运，那么第一，我想方设法去；第二，别人信与不信与我关系不大，事实上我可能希望信的人少，这样我去更方便。如此说来“信不信”是个非常主观的判断，我们完全可以容忍别人的判断跟自己不同。 更进一步，“信或不信”有点生硬，最好我们能把它量化一下，用一个数字来描述，比如说用概率。比如如果我说“雍和宫好使的可能性是15%”，那我就是不怎么相信；如果我说“雍和宫好使的可能性是100%”，那我就是深信不疑。严格地说，这个概率数字当然是所谓“主观概率”，就好像天气预报说明天下雨的概率是30%—样，其实“明天”只发生一次，并不是说在100个平行宇宙的明天中有30个会下雨。 这个量化了的信念可以让我们的决策更科学。如果我对雍和宫的信念值只有15%，但是我大年初一那天正好就从雍和官路过，那我就完全可以进去上个香，有枣没枣打一竿子再说——可是专程跑一趟就没必要了。如果我对雍和宫的信念值高达95%，那我就值得坐火车去北京上香。 真正的深信不疑和彻底不信都是很少的，甚至可能是虚张声势自欺欺人。一般情况下对一般有争议的问题我们都是抱着将信将疑的态度，信念值在0.01%到99.99%之间。而且，我们对大多数事物的信念值都在动态变化。比如有什么特别突兀的新东西出来，我们一开始可能是不信的，随着证据增多，慢慢加强信念。 —个智识分子应该拥有这种复杂的信念体系，时刻调整自己对各种事物的看法。也可以说，这是不断地变动自己的世界观。 想要科学合理地做到这一点，我们需要用到贝叶斯定理。这个定理的数学形式和思想都非常简单，早在两百多年前就被人发现和使用了，但是—直争议极大，因为它的用法恰恰是计算主观概率。很多统计学家认为主观概率根本不科学，个人的信念毫无意义，只有客观概率才值得严肃对待。但是在过去这五六十年内，实用主义者们没理会统计学家的争论，使用贝叶斯定理做了很多很多事：破解了二战时德军密码、预测了俄罗斯潜艇的位置、判断申请贷款者的信用……我们不妨直接引用《金融时报》中文版何帆的一篇科普文章： 生命科学家用它研究基因是如何被控制的；教育学家突然意识到，学生的学习过程其实就是贝叶斯法则的运用；基金经理用贝叶斯法则找到投资策略；Google用贝叶斯法则改进搜索功能，帮助用户过滤垃级邮件；无人驾驶汽车接收车顶传感器搜集到的路况和交通数据，运用贝叶斯法则灵新从地图上获得的信息。人工智能、机器翻译中大量用到贝叶斯法则。 所有这些应用的原理都是一样的。如果我掌握这个东西的全部信息，那我当然能计算一个客观概率——可是生活中绝大多数决策面临的信息是不全的，我们手里只有非常有限的几个证据。而贝叶斯定理的精神在于，既然无法得到全面的信息，我们就在证据有限的情况下，尽可能地做一个更好的判断。 先来看看贝叶斯定理是什么样的： P(A|B)= p(B|A) / P（B) * p(A) A代表我们感兴趣的事件，比如“雍和宫祈福有用”，p（A)表示它发生的概率。B代表一个与之有关的事件，比如“我朋友，某甲，去年去了雍和宫祈福，结果他很快就升职了”，P(A\B)则代表在B发生的情况下，A发生的概率。类似地，p（B）表示B发生的概率，p(B\A)表示在A发生的情况下，B发生的概率。 这是一个“定理”，因为它不是哪个门派掌门人拍脑袋决定的思路，而是数学推导出来的。并不是你“选择”使用这个公式，而是只要你认同概率论的基本法则，你就必须用这个公式。统计学家的分歧在于走这一步到底好不好，而不在于这一步应该怎么走。 如果你没怎么看懂上面说的技术细节，也请坚持往下读——最关键思想是：当B发生以后，有了这个新的证据，我们对A的信念就需要做一个调整，从p(A)变成p（A\B)了。你可以把A当成你对一般情况的理论预言，把B当成一次实验结果。有了新的实验结果，你就调整自己的理论预言。 现在我们就拿雍和宫祈福这个例子，来看看一个贝叶斯主义者是怎么更新自己的信念的。首先我们用基本的概率公式，把p（B)展开成P(B)=p（B\A）*p（A）+p（B\A-）*p（A-），其中A-表示A的相反事件，也就是“雍和宫不好使”，p（A-)=1-p（A）。这么做可以更精确地估算p(B)。这样贝叶斯定理要求我们先自行估计三个值： 你事先认为雍和宫有多好使，也就是p(A)； 如果雍和宫好使，某甲因为祈福加持而升职的可能性，也就是P(B\A)； 如果雍和宫不好使，某甲不借助这个力量而升职的可能性，也就是p（B\A-)。 —个比较合理的估计差不多是这样的。某甲既然能升职，必然有过人之处，那么我们可以认为他在没有雍和宫加持的情况下也有50%的升职可能，所以P(B\A-)=0.5。雍和宫就算再灵验也不能有求必应，否则人人出来都成亿万富翁了，我们姑且假设，所谓“灵验”就是能让某甲升职的概率大大提升，这样我们可以估计P（B\A)=0.8。如果你事先对雍和宫的信念值是15%，那么p（A)=0.15。 这样根据贝叶斯定理计算，现在你的信念值应该是p（A\B)=0.22。 玩这种数字有什么意义呢？这比听风就是雨可高级多了。如果我的信念值从15%变成22%，那就说明第一，我这个人听劝，有利证据进来了，我的确调高了我的信念值；第二，我这个人稳重，没有听到一个证据就立即发生世界观的彻底改变，过去不怎么信，现在还是不怎么信。听劝又稳重，既做到了开张圣听，也没有妄自菲薄，古代对贤人的要求也不过如此吧？ 而且你可以继续调整信念。假设过了一年你听说另一个朋友某乙，水平与某甲相当，也去了雍和宫祈福升职，结果未能升职！这一次，p（A)=0.22。现在B表示“未能升职”，所以p（B\A）不再是0.8，而应该是0.2。p（B\A-)仍然是0.5。我们计算出，p（A\B）=0.1。 所以因为这一次不灵的事件，你应该把你对雍和宫的信念值从22%调低到10%。在数学上很容易证明，只要p（B\A)>p(B\A-)，B事件就会使我们对事件A的信念值提升，反之则会降低。这样有时候往上调有时候往下调，当你听说了很多证据之后，就有可能形成一个比较稳定的看法。对雍和宫这样的例子来说，经过几次祈福不好使的打击，很快你就应该不信了。 而如果我们对某件事的信念值非常非常低，那么即使强有力的证据也很难扭转我们的信念。现在我们来说一个贝叶斯定理的极端例子，这个例子堪称典故！ 艾滋病毒（HIV)检测技术的准确度相当惊人。如果一个人真是HIV阳性，血液检测的手段有99.9%的把握把他这个阳性给检查出来而不漏网。如果一个人不携带HIV，那么检测手段的精度更高，达到99.99%——也就是说只有0.01%的可能性会冤枉他。 已知一般人群中HIV携带者的比例是0.01%。现在假设我们随便在街头找一个人给他做检查，发现检测结果是HIV阳性，那么请问，这个人真的携带HIV的可能性是多大呢？ 在你回答之前，我先提供一点背景资料。德国马普研究所的心理学家曾经拿这道题考了好几百人，包括学生，数学家和医生。结果95%的大学生和40%的医生都给出了错误的答案。 我们使用贝叶斯定理。A表示“这个人真的携带HIV”，B表示“检测出HIV”，那么根据现有条件，p（A）=0.01%，p（B\A)=99.9%，p（B\A-)=0.01%，带入公式，计算得到p（A\B)=50%！答案是即使在这么高的检测准确度之下，哪怕这个人真的被检测到HIV阳性，他真有HIV的可能性也只有50%。 如果你脑子还没转过弯来，我们还有个直观的解释。假设我们随机地找一万个人来做实验。根据HIV病毒的分布，这一万人中应该只有一个人是真的携带HIV的。而由于我们的检测手段很强，这个人会被检测出来。但剩下的9999人都没有携带HIV，可是我们对没有携带HIV的人的检测精度是99.99%，也就是说有万分之一的可能性会冤枉一人。这样一来，我们的检测手段还会在9999人中冤枉一个人。 本来只有一人携带HIV，可是我们却检测出来两人。所以如果一个人被检测出HIV来，他真的携带HIV的可能性其实只有50%。 从根本上说，造成这种局面的原因在于HIV尽管名声很大，但其实是一种罕见的病毒，人群中只有万分之一的人感染。在这种情况下即使你的检测手段再高，也很有可能会冤枉人。 如果一个疾病比较罕见，那么你就不应该对阳性诊断太有信心。 由此我联想到中国历史特殊时期的“抓特务”行动。“特务”这个工作的要求，其实贵在精而不在多，再说国民党也没那么多钱养，真正的特务其实是很少的。如果我们看到一个人长得像特务，说话走路也像特务，我们有多大把握说他就是特务呢？上面这个例子告诉我们，“误诊率”可能相当高。“抓特务”，最好的办法是冒出来一个抓一个，最可怕的办法是搞“人人过关”。如果你搞“人人过关”，必然是一大堆冤假错案！ 这就是冤假错案产生的数学原理，这也是为什么卡尔萨根说“超乎寻常的论断需要超乎寻常的证据”。 我自己最近的一次信念改变的经历是关于自动驾驶汽车的。2010年第一次听说Google正在试验一个相当完善的自动驾驶汽车系统，我不太相信。那时候很多人还在把驾驶当成一个人工智能非常难以做到的例子来说事儿——计算机别说驾驶汽车，连在停车场停车都停不好。别的公司试验自动驾驶，都是非常初级的技术：或者需要特殊的公路，或者需要一个人做司机在前面引路，后面无人驾驶车队必须一辆紧挨着一辆不能有别的车插队，模仿着往前走，根本谈不上应对复杂的交通路况。所以我当时判断可能记者没听懂专家的介绍，或者记者被忽悠了。 然而此后陆续看到很多关于Google这个项目的报道，越来越多细节被透露出来。这时候，虽然其他公司的自动驾驶项目仍然很初级，虽然家用吸尘机器人的行动路线仍然很愚蠢，但我已经非常相信Google的自动驾驶系统了。鉴于这个系统从未有过商业应用，我目前对它的相信程度大概是95%。这个信念值已经足以让我在写文章的时候假定这个自动驾驶系统真实存在。 据说中国曾经在历史特殊时期禁止教授贝叶斯统计学，可能因为那时候的人认为信念不容更改吧。至今有很多人是坚持信念不看证据的，甚至有了与自己信念相反的证据出来，他直接忽略这个证据，或者干脆说这是个阴谋，反而证明我的信念更正确了。还有一种情况是像雍正对年羹尧那样，要说信任就好得如胶似漆，要说不信就不听辩解直接赐死！像这样的二愣子性格，实在不太适合求知。正确的态度是不断根据新的事实来调整自己的观点。 观点随事实改变，有胆有识，这就是贝叶斯定理的伟大原则。 文章选自《智识分子》 |
|
|
