大数据

发展简史

“大数据”这一术语在20世纪90年代开始被使用。1997年，美国国家航空航天局（NASA）的两位研究员M.考克斯和D.埃尔斯沃思在他们合著的论文中第一次使用了“大数据”概念，并界定了内涵。大数据的概念形成过程可以分为三个阶段：萌芽期、发展期与成熟期。

20世纪90年代为“大数据”的萌芽时期，这一时期兴起的复杂性科学不仅为人类提供了新的思维方式与科学理论方法，同时也为大数据提供了理论基础。在这一阶段，“大数据”还只是直白地表示“大量的数据或数据集”这样的字面意思，但是正在逐渐被部分研究人员接受并作为术语使用。

20世纪末到21世纪初期是大数据的发展时期。在这个时期中，理论界的研究者们慢慢地注意到大数据的发展，并逐渐对其关注起来，同时，也丰富了“大数据”的定义、内涵与特征。在这一阶段，众多在国际上举足轻重的学术期刊都开设了大数据专刊，例如在2008年9月，英国的《自然》（Nature）杂志推出了《大数据》（Big Data）专刊；2011年2月，美国的《科学》（Science）杂志推出了《大数据处理》（Dealing with Data）专刊 。这些专刊不仅从多个专业学科的角度讨论了大数据处理过程中面临各种困难，还阐述了大数据对于科学研究发展的重要性。

2011年以来，是大数据发展的成熟时期。在这一时期，世界上的重要数据研究机构几乎都发表了关于大数据的研究报告。例如，麦肯锡全球研究院（MGI）在2011年5月发布了《大数据：下一个具有创新力、竞争力与生产力的前沿领域》报告，系统阐述了大数据概念，列举了大数据的核心技术，分析了大数据在不同行业的应用，提出了政府和企业决策者应对大数据发展的策略。大数据同时也成为了2012年的世界经济论坛的主题之一。2014年后，世界经济论坛、联合国、经济合作与发展组织相继发布了关于大数据带来的发展机遇与风险以及关于大数据使用的报告。在大数据的成熟阶段，美国的奥巴马政府于2012年3月启动“大数据研发倡议”，从而美国成为第一个出台关于大数据的国家政策与战略的国家。此后，多个国家的政府部门，例如英国、日本、中国、澳大利亚等相继出台了关于大数据的国家政策与战略。

基本内容

学术界、产业界、政府机构都对大数据的内涵和外延有过不同界定，涉及性质特点、要素构成、技术系统、应用范围、价值来源等诸多方面。

不同定义角度

技术分析角度

大数据在技术分析角度定义重点关注的是对海量、复杂数据进行分析处理，从而获得信息和知识的技术手段。麦肯锡全球研究院（MGI）的观点是其中比较权威的，其在2011年5月发布的《大数据:下一个具有创新力、竞争力与生产力的前沿领域》报告中提出，大数据是指其一种超出了传统数据处理软件在获取、存储、管理、分析处理等能力的数据集合。

大数据应用价值角度

大数据的应用是这一类定义所强调的，它的关注点在于将有价值的信息从数据中提取出来，而建立起商业性的竞争优势，甚至创造全新的商业模式才是其最终目的。这一类定义的本质是社会经济的离散化解构和全息化重构，表现为行业间海量数据的关系从量变到质变的转变。

大数据对社会发展影响角度

大数据的定义还有一类是从其对社会发展影响角度出发的，这个角度的定义强调的是大数据对人类社会生产生活方式、思维范式等产生的重大影响，认为大数据开启了人类发展的新阶段，并且认为这种范式的影响是持久而深远的。

特性

大数据的“5V”特点最先由IBM公司提出，即数据量大（volume）、种类和来源丰富（variety）、真实性（Veracity）、价值密度低（value）和速度快（velocity）五大特点。这五大特征阐述了大数据与传统数据的区别及其潜在的价值，也决定了大数据挖掘任务的艰巨性。

应用

大数据已经大大增加了信息管理专家的需求，发达经济体越来越多地使用数据密集型技术。根据一项估计，全球存储信息的1/3是字母数字文本和静止图像数据，这是大多数大数据应用最有用的格式，这也显示了尚未使用数据的可能性。虽然许多供应商为大数据提供现成的解决方案，但专家建议开发定制的内部解决方案，以解决公司有足够技术能力的问题。大数据可以应用于政府工作、国际发展、制造业、医疗行业、教育行业、媒体行业、保险业、物联网、信息技术等。

意义与影响

在大数据时代，数据的总量呈现爆炸式增长态势，并且成为了新时代的核心生产资料，而且大数据时代中的核心生产资料——数据是人类自己创造的全新的生产资料，数据流动和利用的便捷性得益于互联网的发展。判断数据价值成为数据管理的核心能力。庞大的数据体量与高速的数据生成，给获取、存储、分析与计算大数据带来了新的挑战。同时，大数据自带的模糊性、时效性以及冗杂性，如何利用强大算法实时挖掘这类海量数据蕴含的信息是当前的重要工作。大数据推动各个行业发展的同时，也带来了一些担忧。例如隐私权倡导者担心通过增加个人身份信息的存储和集成会造成对隐私的威胁。

扩展阅读

• 大数据战略重点实验室．大数据战略重点实验室．中国科技术语，2017，19（4）：43-50．
• Hilbert M．Big Data for Development: A Review of Promises and Challenges．Development Policy Review，2016，34（1）：135-174．
• Hilbert M．What Is the Content of the World's Technologically Mediated Information and Communication Capacity: How Much Text, Image, Audio, and Video．The Information Society，2014，30（2）：127-143．