分享

(大数据)“思路变,天地宽”—用强相关性取代因果关系解决问题

 wenxuefeng360 2019-09-06

香农提出的信息论,其实是一种全新的方法论。如果说机械思维的方法论是建立在确定性上的,而大数据思维的信息论就是建立在不确定性上面。大数据的本质就是消除不确定性。大数据有三个特征,数据量大,多维度和完备性。我们从信息论出发,可以这样解释,数据量的问题,就是通过计算机的发展,掌握大量的数据。多维度,可以联系之前提到的“互信息”概念理解,我们想要搞清楚需要研究的问题,肯定是收集到的数据关联性越强,就会越容易得出结论。完备性,就是说数据量覆盖全面,不会有漏网之鱼。

为什么说大数据思维是一种全新的思维革命?从它的方法论中就可以看出,机械思维的方法论是因果关系,而大数据思维的方法论是强相关关系,也就是关联性。从药品的开发案例就可以加以区分。19世纪中期,青霉素发明过程就是因果关系的产物。人们的目的很明确,必须杀死致病菌才能治好疾病,所以科学家都在研究如何将细菌杀死,而通过因果关系找到的解决方案,就让人感觉十分的可信,其他新药的研制过程也是这样,首先分析致病产生的原因,再从源头上出发,杀死致病菌。这样的思路是没有问题的,但是在实际操作中,研制一场新药的时间成本和费用成本都十分高昂。

而在大数据时代,研制一种新药的时间和成本,都被大大地缩短了。因为医学专家发现,人们的处方药,以及疾病的种类都是有限的。可以利用大数据的思维,将现有药品和人类疾病进行配对,就会得到意料之外的收获,比如说,原先用来治疗心脏病的药物可以对胃病有效。有了这样的结论,再推导原因就变得十分的简单了,这样一来,花在寻找新药上的时间和成本都会降低。简单说来,可以说是用大数据的思维,用已知结果而倒逼出原因。

书中还举了另外一个例子,大数据思维甚至可以运用在法律上,用相关性决定了判罚的结果。在20世纪90年代的美国历史上发生过一次世纪大诉讼。对战双方是密西西比州的总检察长麦克和大烟草商。因为导致吸烟者疾病(如肺癌)的影响因素很多,单靠因果关系无法证明是吸烟所致。无奈之下,检察官聘请了多位科学家进行数据收集工作,足迹遍布世界各地。最终用大数据的思维的方法论,得出了肺癌和吸烟之间的关系作为强有力的证据,才让烟草商赔了一大笔钱。

总的说来,在大数据时代,我们可以运用大数据直接获得答案,再从答案推导出原因,或者直接利用答案解决问题,跳出机械思维因果关系的桎梏。这也是现今许多面对市场反应迅速的互联网公司比传统公司更胜一筹的原因。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多