Hadoop_初级笔记

第一节

主要内容：1.大数据技术的相关概念；2.Hadoop的架构和运行机制；3.实战Hadoop的安装和配置；4.hadoop的开发

学习目标：一、掌握大数据存储与处理技术的原理（理论知识）；二、掌握Hadoop的是使用和开发能力（实践能力）

学习建议：（1）结合书本，知识点更加系统全面{《Hadoop技术详解》、《Hadoop权威指南》}；（2）实践经验很重要，边听课边实践；（3）坚持。

预备知识：（1）linux常用命令（不用非常精通，常用命令会就好，因为Hadoop运行环境是linux）；（2）Java编程基础（后期开发）

第二节

Hadoop历史：（自己了解下）互联网发展、创造数据的速度不断加快，数据增长速度增开，类型增多，数据规模的不断增加等

21世纪核心的竞争是数据的竞争，谁拥有更多的数据，谁就拥有未来；--马云

系统瓶颈：存储容量、读写速率、计算效率...

第三节

Hadoop功能与优势

Hadoop是什么：Hadoop是开源的 分布式 存储 分布式计算平台Apache(http://Hadoop.):分布式存储和分布式计算

之所以有这两个是因为hadoop的两个核心组成部分

Hadoop的组成：

HDFS：分布式文件系统，存储海量的数据

MapReduce：并行处理框架，实现任务分解和调度

Hadoop可以用来做什么：

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务

比如：搜索引擎，商业智能，日志分析，数据挖掘等任务

Hadoop优势

1.高扩展，2.低成本，3.Hadoop有成熟的生态圈（Hadoop小工具比较多）

Hadoop的应用情况：广泛

Hadoop人才需求越来越大：开发、运维；

第四节

生态系统和版本：HIVE,HBASE(存储结构化数据的分布式数据库，放弃事务特性，追求更高的拓展)，zookeeper