关于作者戴维·萨尔斯伯格，美国知名统计学家。康涅狄格大学统计学博士，美国国家统计学会（ASA）会员，先后任教于哈佛大学公共卫生学院、康涅狄格大学、宾州大学、罗德岛学院及三一学院，著有多部统计学专著，《女士品茶》是其代表作。 关于本书在这本书里，作者从20世纪在全球掀起的统计革命入手，为我们揭开了统计学背后的哲学思辨、各种统计方法的诞生和应用，以及整场统计革命的发展进程，可以说，这是关于统计学发展历程的一次全景式呈现。 核心内容一、统计学的底层逻辑是什么；二、统计学如何帮助我们处理复杂的数据，用已知去预测未知；三、统计学在20世纪如何发展壮大，并快速席卷整个科学界和我们的日常生活。 前言 你好，欢迎每天听本书。在开始听书之前，我想先问你一个问题：你发现没有，如果你在网上买过东西，商家就会根据你的网购经历，给你推荐很多相关的商品。比方说你买了婴儿奶粉，商家除了给你再推荐奶粉，还会给你推荐婴儿车、婴儿床。还有，你可能也听过，很多互联网公司都会基于后台收集到的各种数据，做出自己产品的“用户画像”，让分散在整个互联网上的用户，从无数抽象的数据，变成一个或者几个具象化的人物，然后再有目的地优化自己的产品。那你知道支撑大数据和算法科技的，是哪一门学科呢？可能你也想到了，对，就是专门处理数据的统计学。 我们本期要说的，就是一本讲述统计学的基本逻辑和发展历程的书，名字叫做《女士品茶》，它的作者是美国统计学家戴维·萨尔斯伯格。在这本书里，作者从20世纪在全球掀起的统计革命入手，为我们揭开了统计学背后的哲学思辨，各种统计方法的诞生和应用，以及整场统计革命的发展进程，可以说，这是关于统计学发展历程的一次全景式呈现。这本书一经面世，就被奉为统计学中的神作，打个比方，《女士品茶》这本书在统计学领域的地位，就像是哲学界的《苏菲的世界》。 接下来，我就从以下三个方面为你介绍这本书的核心内容。首先，我就从“女士品茶”这个书名开始，给你说说统计学是干什么的，这个学科的底层逻辑是什么。接着，我再具体跟你说说，统计学作为一门应用科学，它的基本理论框架包括哪些内容，它又是如何帮助我们去处理复杂的数据，用已知去预测未知的。最后，我们再结合具体的历史事实，看看统计学是如何在20世纪逐步发展壮大，并快速席卷了整个科学界和我们的日常生活的。 第一部分 我们先来说第一部分。 你可能会好奇，一本统计学的书，怎么取了《女士品茶》这么个名字呢？这个故事其实来自于1935年，统计学家费希尔出版的《实验设计》。某个下午，英国剑桥的一群大学老师和他们的妻子一起喝下午茶。其中一位女士突然就说：把茶加到牛奶里，和把牛奶加到茶里，两种方法调出来的下午茶喝起来味道不同。在座的科学家们纷纷表示不屑，无论是先加茶还是先加奶，混合以后的成分可是一样的啊。但口说无凭，为了验证这位女士的观点，其中一位又矮又瘦的男士就设计了一个实验，一群有钱又有闲的科学家们就这样兴致勃勃地投入到了这场实验中。 但“女士品茶”其实只是个引子，这场实验的最终结果如何作者其实也没提，不过这个故事却反映出了统计学的本质。作为一门应用科学，统计一直是从问题出发的，它的本质就是借助一些数学工具来解决一些现实问题，小到验证一位女士关于品茶的观点，大到预测国家的一场金融风暴。我们也可以这么说，统计学就是基于问题，收集数据、分析数据、解读数据的过程。 这个内涵贯穿了整本书，每当作者介绍一个新的概念时，都会穿插大量的背景介绍，让你了解当时面对的是一个什么样的问题，然后再结合统计学霸们的生平轶事以及主要成果，你就能明白他们是怎么利用统计学，来解决问题的。 我们一开始就说了，《女士品茶》这本书说的，是发生在20世纪的一场统计革命，就是这场革命，让统计学从一门默默无名的小学科，发展成了席卷整个科学界的基础工具。既然是革命，必然就会涉及到观念的转变。那这场统计革命涉及的，是什么观念呢？ 我们现在都知道，无论是人类的演化发展，还是具体的生活小事儿，其实都充满了随机性，牵扯到“概率”的问题。但以前的人们可不是这么认为的。在20世纪的统计革命开始前，人们认识世界有个坚定的信念，叫做决定论。当时的人们认为，一切自然现象的出现和存在，都是有原因的，并且遵循着一定的法则。这种信念强调的是因果关系，就像谚语说的“种瓜得瓜种豆得豆”一样。在决定论的支配下，人们坚信在理论上，我们可以掌握一切知识和规律，并且未来的一切事情都是可以准确预测的。而统计需要做的，就是尽可能精确地记录数据，数据越准确，预测才越精准。 然而现实并不像科学家想象的那么完美。很早以前就有人发现，哪怕是一模一样的实验条件，每次出来的实验结果都有细微的差别。但在决定论的观念支配下，科学家们都认为这是各种外界因素的干扰导致的。当时谁都没有怀疑是人们认知世界的方式错了，也许客观世界本身并不是绝对精准。 直到19世纪末20世纪初，有一小撮人的发现开始动摇决定论的统治地位，掀起了20世纪这场统计革命的序幕。这群人就是高尔顿，高尔顿的学生皮尔逊，皮尔逊的朋友戈赛特，以及通过戈赛特认识了皮尔逊、并在后来与皮尔逊结下梁子的费希尔。是不是听起来觉得这些人物关系很复杂？这可是一群有故事的人，关于他们的恩恩怨怨在此就不多做介绍了，感兴趣的话你可以去翻翻书，我就主要给你介绍一下这些人对这场统计革命的贡献。 首先是高尔顿，他发现了“回归现象”。从遗传学的角度来看，父母高的话，孩子也应该高，父母矮的话，孩子也应该矮呀。但是实际测量的数据却不是这样的。整体来看，孩子的身高其实都有一个逐步向人类平均身高靠拢的现象，高尔顿将这种数据向总体平均值靠拢的现象称为“均值回归”。 其实，高尔顿提出的概念，已经和后来成熟的统计思想非常接近了。不过，他当时并没有捅破这层窗户纸。首次将这种思想以公式的形式完整表达出来的，是他的学生卡尔·皮尔逊。 1895年，皮尔逊第一次在科学史上明确地阐述了实验数值的随机性，而所有出现的观测值都可能符合某种规律性。科学的目的，就是找到几个指标来描述这种规律性。他告诉大家都别为自己的实验误差纠结了，世界本来就是测不准的，每次的实验结果都是随机出现的，至于怎么出现有它自己的规律，科学研究的主要工作不在于研究具体数据，而在于发现这种规律性。这种思想对当时的科学界来说，就像是一枚重磅炸弹。 可以说，皮尔逊的统计思想颠覆了人们认知世界的方式，决定论的观点渐渐被取代，人们开始认识到，万事万物不见得一定是因果关系，而是相互作用相互影响的相关关系，人们也逐渐接受了实验结果的随机性。这种事物间的相关性以及数据分布的随机性，也得到了科学界的普遍认可，直到现在已经深深地渗入到我们的日常生活中了。 皮尔逊的思想不仅改变了人们认知世界的方式，同时也直接改变了科学研究的对象。在此之前，科学研究的对象都是看得见摸得着的东西，是每一次实验收集到的具体数据。而此后，科学实验收集的是一大堆具有随机性的数据，而描述这些数据的数学函数成为了科学真正的研究对象，科学家不再关注某个具体的实验数据，而是某种实验数据出现的可能性，也就是概率。这样，统计学就成了处理概率的基本工具，成了几乎所有学科的研究基石。 皮尔逊的思想虽然具有颠覆性，但由于他自己的数学能力有限，有些概念和数学推导并不成熟，后来戈赛特和费希尔重新定义了一些统计概念，纠正了皮尔逊的一些错误。尤其是费希尔，他在一般性的统计方法和统计思想上，都做出了巨大贡献，而且很多理论和概念都是凭他一己之力从无到有建立起来的，极具原创性。他提出的实验设计方法、方差分析法、回归分析方法等，很快成为了许多学科的研究基础，他出版的教材和论文也极大地推进了统计学在各领域的应用。 所以总的来说，整个20世纪的统计革命虽然起源于皮尔逊的思想，但整个理论框架和研究方法体系却是由费希尔搭建起来的。 以上就是我们要说的第一部分的内容，这部分的重点是统计革命背后的理念变革。我们说了，统计学就是基于问题，收集数据、分析数据、解读数据的学科，人们对统计学的接纳，同时也伴随着对“决定论”的抛弃。以前的人们是按照“决定论”的想法来理解世界的，但是皮尔逊首先提出了实验数据的随机性和概率分布的概念，这一思想颠覆了当时人们认知世界的方式和实验研究的对象。后来，费希尔又搭建了统计的整个理论框架和研究方法体系，后人也是在这个基础上不断完善发展这门学科的。 第二部分 说完了统计学的底层逻辑，了解了统计革命背后的哲学思辨，下面我们再来说说，在现实生活中，统计学究竟是如何处理复杂的数据，用已知去预测未知的。这也是我们要说的第二个核心内容。 前面我们提到统计学一直是从问题出发的，它的产生起源于我们探索世界的需要。你想，我们所处的世界包含各种各样的事物，我们想全部观察一遍几乎是不可能的，人口普查不可能年年搞，了解新药疗效也不可能让每个病人都试一下，但是观察一部分我们还是可以做到的。在统计学里，这个真实的世界或者我们想研究的事物，被称为“总体”，而从总体找到一部分具有代表性的个体，就是找“样本”，统计学就是帮助我们利用样本的信息来推测总体情况的工具，也就是从局部到整体，从已知到未知的过程。 当我们使用统计学的时候，一般有两种目的。要么，是为了分析现有的样本数据，要么，是估计未知的总体情况。根据不同的目的，统计学可以划分为两大部分，一部分是描述统计，一部分是推论统计。 这两个词儿听起来可能不太好理解，我来给你解释一下。简单说，描述统计其实就是处理样本数据的过程，通过对杂乱无章的原始数据进行整理，让这些数据能够直观简练地呈现出来，并作为我们认识事物的客观依据；而推论统计则带有猜测的成分，是从样本到总体的过程，通过整理出来的样本数据信息来估计总体、预测未来。可以说，这两种统计方法的功能不一样，描述统计针对的是已知的样本，是当下；推论统计针对的是未知的总体，是未来。 大面儿上了解了它们的区别，我再分别给你举例说明一下。 我们先说“描述统计”。其实描述统计理解起来并不复杂，它无非从几个角度来描述数据，告诉我们数据整体处于什么样的水平，数据内部分布是比较平均还是参差不齐，在某个具体的行业或领域内跟其他数据横向相比处于什么样的水平，或者从历史的角度纵向来看又处于怎样的水平。实际工作中当我们分析某个企业的薪酬水平、某国的 GDP 数据时，基本就是从这些维度思考的。 描述统计虽然是一种处理数据的方法，但它作为一种思维方式同样指导着我们的工作和生活。比如，我们有时会听到“用户画像”这样一个概念，是不是听起来很高大上？但其实它本质上就是一种描述统计。数据团队在制作“用户画像”的过程中，首先会根据需要选取关键的指标或者维度，然后收集各个维度的数据或相关信息，比如收入水平、教育水平、产品使用频率等，这就是一个计算平均值的过程；最后将这些信息整理，抽象出一个用户的信息全貌，给用户贴标签，这个过程就是把各个指标的平均值综合起来然后用文字描述出来。当然具体的操作要比这些复杂得多，但其本质并没有区别，只不过描述统计处理的是数据，而用户画像有可能处理的是文字而已。 了解了描述统计的含义和功能，我们再来说说“推论统计”。 前面我们提到，推论统计本质上就是用样本信息推测总体情况，利用已知信息去估计未知的过程，这其中含有“猜”的成分，既然是“猜”就必然存在如何判断猜得准不准的问题。因此在统计教材中，这部分章节涉及大量的统计方法和计算公式，还有复杂的逻辑推理过程，让很多人头痛不已。然而无论是使用什么分析方法，本质上都不外乎是这么两种思路，那就是“参数估计”和“假设检验”。 所谓的“参数估计”，就是直接从样本出发，利用样本计算出的数据来估计总体情况，它又分为点估计和区间估计两种，简单来讲就是你在估计的时候用的是一个具体的数值还是一个数值范围。现实生活中，其实我们每天都在“被估计”，每当你刚浏览完某个产品的信息，紧接着平台就会给你推荐一大堆相关产品。但细心的话，你可能会发现虽然买的是同样的东西，但不同的平台随后给你推荐的产品却不太一样。这是因为，他们抓取的样本数据或者具体算法不同，但背后的统计思想并没有差别，无外乎用现有的大多数人的样本数据来预测你的偏好。 除了“参数估计”，推论统计里，还有一种重要的方法就是“假设检验”。简单来说，“假设检验”就是从总体出发，先对总体情况提出一个假设，称之为“零假设”。然后通过实验收集数据，将收集到的数据跟这个零假设进行比较，看看之前的差异大不大，大到什么程度才能认为实验方法是有效的。其实“假设检验”的思路跟我们生活中的目标管理很像，先定目标，执行完后看看目标是否达成。这个分析方法，在学术研究领域，是非常常见的。当然科学家们做的“假设检验”要比这复杂严谨得多，但基本思路就是这么简单。 现在假设检验的思想已经渗透到了现代科学教育中，并成为科学家和工程师的常规思考方式，他们在进行科学研究、发表科学论文的时候，基本都会用到这种思路。通常“零假设”都是一些通过多次验证的共识性的结论，想要推翻它可不容易，而科学研究就是一步一步地、小心翼翼地在试图推翻“零假设”的过程。 到这里第二部分的内容就说完了，我们再来回顾一下。我们说，按照不同的分析目的，统计方法可以分为描述统计和推论统计。描述统计主要是对数据进行整理，简单直观地呈现出数据，而推论统计则是利用样本信息去推论总体的过程，用已知去预测未知。描述统计和推论统计是紧密联系的，可以说，描述统计是基础，推论统计是目的，客观准确的描述为准确的推论提供了依据。 第三部分 前面两个部分我们介绍了统计学是干什么的，也说了统计革命背后的哲学思辨和统计理论的基本框架。在最后一部分，我就结合具体的历史，一起来看看统计学到底是如何一步步发展壮大，并在现在科学研究领域得到快速应用的。 如果我们把统计学从默默无闻到20世纪席卷各个学科，看做是一场革命的话，那么这场革命是怎么从星星之火发展到燎原之势的呢？这还得从统计学最初的状况开始说。 说起统计学，你可能觉得这是个挺现代的学科。但其实“统计”的概念由来已久，从人类文明出现以来，统计就已经存在了。从最开始的结绳记事，到后来随着各种政权的出现，为了方便管理，各国都会成立专门的机构负责统计国家信息，比如中国古代的户部。统计的英语单词statistic就源于城邦state，可见统计学跟国家政治的渊源是很深的。 但是，出现得早不见得发展得也成熟。事实上，直到19世纪，统计所做的工作主要就是客观地记录数据，以便当权者快速地了解信息。在统计革命到来之前，统计学的发展是极为缓慢的。这是因为，20世纪初欧洲的数学家们依然沉浸在纯数学的抽象世界里，认为统计学就是一种简单粗暴的加减乘除运算，毫无技术含量可言，所以就不太重视这个学科。 统计学的高度发展，其实是从20世纪30年代开始的，这个发展的直接原因，就是战争。这是为什么呢？你听我接着给你解释。 30年代，希特勒的纳粹主义和种族政策几乎毁掉了整个欧洲的数学界，大批优秀的数学家逃往美国，这在很大程度上抑制了欧洲统计学的发展，统计革命的重心转移到美国。美国当时正经历着大萧条，整个国家处于瘫痪状态，罗斯福刚刚上任，华盛顿政府迫切需要了解全国上下的情况到底有多糟糕。就这样，抽样调查应运而生，在美国政府部门的推动下，民众开始接纳随机抽样方法，后来逐步应用到政治性民意测验领域。目前全球最著名的调查公司，像尼尔森、盖洛普等，之所以都是美国公司，也可以说跟当初这场普及全民的抽样调查活动息息相关。 到了40年代的“二战”时期，为了战争的需要，大量统计学家开始参与到作战研究中，统计学发挥了重要的作用，这也让许多纯数学家真正重视起统计学。当时美国军方相信实验设计和统计方法可以充分应用到作战研究中。普林斯顿大学数学系主任威尔克斯在国防研究委员会内部成立了一个研究小组，这个小组招募了一些非常聪明的青年数学家和统计学家。他们通过设计实验，分析数据，利用统计的方法检验武器装备、破解敌方密码，进行军事部署等。这个小组的研究甚至还影响了最终的战争决策。 口说无凭，你听我给你举个真实的例子。二战末期，美国陆军得知日本开发了一种非金属地雷，而当时所有方法都无法探测到这种地雷。日本军方沿着美军可能入侵的路径，将这种地雷随机地埋在了日本的各个海滩上。据估计，光这种地雷就能造成数十万人死亡。美国必须尽快找出摧毁这种地雷的办法。这时候，统计学的作用就体现出来了。普林斯顿小组开始设计用各种方法摧毁地雷的实验，包括用飞机从空中投放炸弹来引爆日军埋的地雷，但最终所有的实验和计算都表明，这些方法没用。所以美国最终决定直接向日本投放原子弹，这个决策，可以说直接影响了整个二战和人类发展的进展。 可以说，战争让统计学大放异彩，发挥了重要的作用，并且取得了很多创新成果。这激发了许多科学家的爱国热情，并让很多理论数学家重新认识了统计学。战争结束后，这些数学家和统计学家们回归到各自的领域，为科学的发展做出了重要贡献。在此后的几十年里，许多实验和统计分析方法，也得到了系统地梳理和完善。统计成为各学科数据的研究基础，在经济学、社会学、心理学、流行病学、生物学等领域都有重要应用。 那统计学是不是就此成了学科里的“老大哥”,大家没它不行呢？并不是。尤其是到了20世纪末，这场统计革命在逐步走上巅峰的时刻也开始受到诸多挑战。为啥这么说呢？理由有这么三个。 首先，统计方法的过度应用受到了批判。这场统计革命进行了近100年的时间，概率分布的观念已经深深地渗透到现代科学教育中，很多科研工作者们严格按照假设检验的思想去求证，只关心显著性，却很少去思考这些方法背后的思想内涵。这种过度应用其实也受到了许多统计学家的批判。毕竟，标准的统计方法本身并不足以解决问题，研究人员需要关注问题本身，而不是天天盯着数据看它显不显著。 其次，新的学科及技术的出现，削弱了统计学的影响力。尤其是随着互联网的发展，大数据技术的迅猛崛起，轻点一下鼠标，就能获得所有数据。当总体的数据都可以轻易获得的时候，我们还需要推论统计吗，这些经过反复论证的数学公式还有存在的意愿吗？这也是统计学家们需要思考的问题。 最后，作者从根儿上，对这场统计革命提出了质疑。在过去，几乎所有认可接受过科学方法培训的人，都把皮尔逊的观点当成了理所当然的事情，也很少有人考虑这种观点背后的哲学内涵了。但是有学者认为现实是非常复杂的，人类构造的科学模型永远也无法完整地描述现实。在某一阶段可能某一模型符合现有数据，随着数据的积累，就需要对模型进行修改，以满足新的发现。 统计革命就是这种模型更替的例子。虽然大众都接受了概率论的观点，但是概率这种看不见摸不着的东西真的存在吗？我们认知世界的方式真的正确吗？如果这一点没法确认，那这场统计革命就像是建构在沙土上的摩天大厦。也许有一天，我们会发现这场统计革命不过只是人类认知历程中的又一次错误尝试。我们认知世界的方式又会经历怎样的变革呢？ 总结 到这里，这本书的核心内容就介绍完了。我们最后再来回顾一下。《女士品茶》可以说是一本关于统计学的发展史。 在第一部分，我们说了统计学是干什么的，它的底层逻辑是什么。皮尔逊提出的实验数据的随机性和概率分布的概念，彻底改变了人们认知世界的方式和科学研究的对象。统计学，这门收集数据、分析数据、解读数据的学科，也开始逐渐深入人心。 在第二部分，我们介绍了目前统计学基本框架，包括描述统计和推论统计。描述统计针对的是已知的样本，是当下；推论统计针对的是未知的总体，是未来。 然后我们又结合具体的历史，梳理了统计学的发展历程，如果我们把统计学从默默无闻到席卷各个学科看做是一场革命的话，那么这场革命的导火索就是战争。受战争的影响，统计学快速发展，扩展到了几乎所有科学领域；到了20世纪末，统计学虽然还占据着主导地位，但也受到了很多挑战。 尤其是到了互联网时代，大数据技术的发展让我们能够很容易获得整体的数据，那统计学这个从样本来估计整体的学科，还会有那么大的价值吗？这本书的作者最后也表示了自己的怀疑，虽然我们已经抛弃了“决定论”，开始用统计学中的“概率”和“相关”思想来认识世界，但谁能保证这次就是绝对正确的呢？我们认识世界的方法，未来也许会再次因为某次革命而改变。 撰稿：马继伟 划重点 |
|
|
