|
进入互联网时代后，随着各项技术的发展进步，网络工具每天产生的信息量和数据呈现爆炸式增长，数据的量的计算已经超出很多传统数据工具的处理能力外，大数据工具的发展和云计算技术的进步，适应了这样一个变化，大数据概念随之兴起。大数据分析师和数据挖掘工程师成了大数据时代的热门岗位。 大数据是目前阶段最火热得互联网行业词汇之一，各行各业都有很多企业都在宣传和吹棒该企业如何借助大数据工具，借力大数据发力，使得企业产品服务或者业务提升到了另一个阶段，使得业务获得了很大得成功。现在的各种媒体也对大数据做各种各样的宣传，使得大数据深入人心。虽然大很多人都听说过大数据这个名词，但是绝大部分人对大数据还是没有什么概念或者不了解其中的一些内涵。 笔者从事数据分析已有很长一段时间，对大数据也有自己的一些了解，在这里就简单的给大家站在普通大众能够比较容易理解的角度去阐述下什么是大数据。 大数据是什么？ 大数据是指在现今互联网信息时代、通过各项分布式技术和渠道搜集来自于互联网媒介中的数据，比如：社交网络数据、电子商务网站数据、顾客来访记录、银行记录数据等各行各业在互联网上数据的归集。 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合.具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 简单来说，大数据就是数据量和数据类型多到不能用传统的数据工具来存储的数据，需要借助非传统工具来处理和存储数据，我们经常会听到的云计算就是处理和存储大数据的技术之一。大数据的核心技术涉及到大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 对于不同的人而言，大数据这个词代表的意义不一样 对于初创企业和投资者，大数据是一个热门的融资标签，这个标签意味着更多的资本涌入。很多互联网企业都争着把自己贴上大数据公司的标签 对于多数互联网公司或者工程师而言，大数据就是把一堆乱七八糟的数据收集采集后放到HDFS上进行一些计算。计算的工具有很多，最常见的是 Map-Reduce，但是技术一直在演进，现在还流行 Impala、Spark、Presto 等等 对于普通大众而言，大数据意味着个人数据信息的无隐私化，各行各业的互联网公司，各种各样的APP都在尽可能最大限度的收集终端用户的隐私，从个人出行位置变更，个人通信频率，个人使用APP消费习惯，家庭住址，消费信息等等，只要你想的到的几乎都已经被各公司收集 大数据的价值体现 对大量消费者提供产品或服务的企业，可以利用收集到的各类数据，进行精准营销。很多企业可以利用大数据提供服务，做服务转型等，比如类似百度公司，掌握了大量用户的出行信息，掌握了大量消费者的居住工作数据，可以为政府企业提供交通规划和城市规划等方面的信息服务 大数据推动商业模式的变革，催生产品和服务的创新。比如阿里基于海量用户的客户数据和行为数据，建立了以网络数据为基础的信用体系，打破传统的金融借贷模式，使得贷款不需要抵押品和担保等 大数据正推动人类社会进入人工智能时代。数据是人工智能的基础，人工智能是建立在大数据技术和海量数据的基础的一项新兴行业。正是因为数据。在大数据这个概念出现之前计算机并不能很好的解决需要人去做判别的一些问题。所以说如今的人工智能不如说是数据智能，人工智能其实就是用大量的数据作导向，让需要机器来做判别的问题最终转化为数据问题。这就是今天我们所说的，人工智能的本质。目前，人工智能发展所取得的大部分成就都和大数据密切相关。通过数据采集、处理、分析，从各行各业的海量数据中，获得有价值的洞察，为更高级的算法提供素材。 |
|
|
