Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。本系列课程将会带领大家从零到一学习Hadoop。 开课时间: 2016年03月31日 20:00-21:00 开课周期: 每周一课,共8课 于博,某金融大数据公司首席大数据架构师。曾任百度集团商务搜索部资深研发工程师,搜狐集团研究院精准广告研发中心大数据架构师。百度凤巢系统开发者,参与了搜狐广告精准投放系统、优酷视频人机协同推荐系统等多个系统的研发工作,多次在技术论坛授课,有丰富的开发和系统架构经验。对Hadoop生态圈非常感兴趣,实战经验比较丰富,翻译出版大数据书籍一册。 系列课程安排: 分布式系统中的关键概念及Hadoop起源发展 分布式中的关键概念 Hadoop思想起源:Google Hadoop发展历史及其生态系统 Hadoop 中基本概念、环境搭建 Hadoop的组成架构 Hadoop的三种运行模式 以CDH为例介绍Hadoop的搭建安装 HDFS HDFS概念与体系结构 HDFS中的文件存储方式 HDFS中的文件读写过程数据流 HDFS文件操作(命令行) HDFS Java API 接口 YARN YARN 产生的背景 YARN基本架构及其工作流程 YARN资源调度机制 MapReduce mapreduce计算框架产生背景 MapReduce工作流 MapReduce编程接口 MapReduce中的数据类型和格式 常见MapReduce编程模型 Hadoop监控和管理 对HDFS的监控 Hadoop系统中日志 Hadoop系统的升级和维护 Hadoop配置 Hadoop系统中的几个重要的配置文件解析 HBase Hbase体系结构 HBase shell HBase API应用 Zookeeper ZooKeeper工作原理 ZooKeeper的数据结构和组成 ZooKeeper的安装配置 ZooKeeper命令行工具 ZooKeeper API |
|