对大数据的理解和整理

大数据最近几年非常的火，那么究竟什么是大数据呢？

根据网上的资料整理分析，概括为以下四点

大数据的概念与意义

大数据的历史背景：

·2008年9 月，美国《自然》（Nature）杂志专刊——The next google,第一次正式提出“大数据”概念。

·2011年2月1日，《科学》（Science）杂志专刊——Dealing with data，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。

·2011年5月，麦肯锡研究院发布报告——Big data: The next frontier for innovation, competition, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”

为什么能出现大数据：

存储：存储成本的下降

存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值

计算：运算速度越来越快

分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光；

HDFS为海量的数据提供了存储；

MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率；

Spark、Storm、Impala等各种各样的技术进入人们的视野。

智能：机器拥有理解数据的能力

谷歌AlphaGo大胜世界围棋冠军李世石

阿里云小Ai成功预测出《我是歌手》的总决赛歌王

iPhone上智能化语音机器人Siri

微信上与大家聊天的微软小冰

大数据的意义

有数据可说

说数据可靠

美国著名管理学家爱德华·戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。”

大数据的来源

随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。

大数据应用场景

环境行业：借助于大数据技术，天气预报的准确性和实效性将会大大提高，预报的及时性将会大大提升，同时对于重大自然灾害如龙卷风，通过大数据计算平台，人们将会更加精确地了解其运动轨迹和危害的等级，有利于帮助人们提高应对自然灾害的能力

教育行业：信息技术已在教育领域有了越来越广泛的应用，教学、考试、师生互动、校园安全、家校关系等，只要技术达到的地方，各个环节都被数据包裹。通过大数据的分析来优化教育机制，也可以作出更科学的决策，这将带来潜在的教育革命，在不久的将来，个性化学习终端将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向。

医疗行业：医疗行业拥有大量的病例、病理报告、治愈方案、药物报告等，通过对这些数据进行整理和分析将会极大地辅助医生提出治疗方案，帮助病人早日康复。可以构建大数据平台来收集不同病例和治疗方案，以及病人的基本特征，建立针对疾病特点的数据库，帮助医生进行疾病诊断。医疗行业的大数据应用一直在进行，但是数据并没有完全打通，基本都是孤岛数据，没办法进行大规模的应用。未来可以将这些数据统一采集起来，纳入统一的大数据平台，为人类健康造福。

农业：借助于大数据提供的消费能力和趋势报告，政府可为农业生产进行合理引导，依据需求进行生产，避免产能过剩造成不必要的资源和社会财富浪费。通过大数据的分析将会更精确地预测未来的天气，帮助农民做好自然灾害的预防工作，帮助政府实现农业的精细化管理和科学决策。

智慧城市：大数据技术可以了解经济发展情况、各产业发展情况、消费支出和产品销售情况等，依据分析结果，科学地制定宏观政策，平衡各产业发展，避免产能过剩，有效利用自然资源和社会资源，提高社会生产效率。大数据技术也能帮助政府进行支出管理，透明合理的财政支出将有利于提高公信力和监督财政支出。

零售行业：信息技术已在教育领域有了越来越广泛的应用，教学、考试、师生互动、校园安全、家校关系等，只要技术达到的地方，各个环节都被数据包裹。通过大数据的分析来优化教育机制，也可以作出更科学的决策，这将带来潜在的教育革命，在不久的将来，个性化学习终端将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向。

金融行业：

1）银行数据应用场景

利用数据挖掘来分析出一些交易数据背后的商业价值。

2）保险数据应用场景

用数据来提升保险产品的精算水平，提高利润水平和投资收益。

3）证券数据应用场景

对客户交易习惯和行为分析可以帮助证券公司获得更多的收益。

大数据处理方法

如何进行大数据的采集、导入/预处理、统计/分析和大数据挖掘，是“做”好大数据的关键基础

1.采集

2.导入及预处理

·数据清理：主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。

·数据集成：是将多个数据源中的数据结合起来并统一存储，建立数据仓库。

·数据变换：过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。

·数据归约：寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。

3.统计分析

统计与分析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求

在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。

4.数据挖掘

数据挖掘是创建数据挖掘模型的一组试探法和计算方法，通过对提供的数据进行分析，查找特定类型的模式和趋势，最终形成创建模型。

主要是用于预测，模拟等各种业务系统使用

算法：序贯模式挖掘SPMGC算法，序贯模式挖掘SPMGC算法，朴素贝叶斯算法，BIRCH算法等