《数据科学与大数据技术训练营》大数据开发工程师-初级

大数据开发工程师-初级

课程简介

《数据科学与大数据技术训练营》参考教育部“数据科学与大数据技术”专业课程设置内容，由一批企业专家和中青年博士、博士后授课，上课方式为在线学习+线下学习(集训)，学生毕业可以推荐就业，同时可考取相关职位资格证书。

“数据科学与大数据技术”本科课程系列（大数据工程师方向）

大数据开发工程师-初级

本期《大数据开发工程师》初级课程，采用网络教学方式，深入学习大数据主要的三大生态系统NoSQL（MongoDB）、Spark和Hadoop的历史及目前发展的现状、以及它们的技术特点，通过贯穿课程的项目进行实战锻炼，掌握平台部署、开发和调优，把握分布式计算框架及未来发展方向，助你在大数据时代获得大数据开发工程师相关职位。

培养目标：

课程结束时，帮助学员实现如下目标：

1、理解MongoDB3的技术核心和管理操作，以此为基础，进而掌握NoSQLMPP架构数据库的使用和调优的思想。

a）简单使用MongoDB

b) 掌握使用ReplSet、Sharding等核心功能

c) 了解MEANSatck的web开发框架

i、M = MongoDB/Mongoose.js数据库，对 node . js来说是一个ODM。

ii、E = Express.js:一个轻量级Web应用程序框架。

iii、A = Angular.js:一个框架用于创建HTML5和JavaScript Web应用程序。

[P=Python是一门面向对象的编程语言，相对于其他语言，更加易学、易读，非常适合快速开发；合于做网站、ML、科学计算、绘制高质量的2D和3D图像等应用。]

iv、N = Node.js服务器端JavaScript interpreter。

d) MongoDB的应用。

2、全面掌握Hadoop2的架构原理和使用场景，并通过贯穿课程的项目进行实战

a）全面掌握Hadoop的安装和设置。

b) 熟练MapReduce程序开发。

c）深入的掌握HBase的高阶应用

d）YARN以及运行在YARN上的计算框架的原理及应用

e）并通过贯穿课程的项目进行实战锻炼，

f）理解掌握主要子项目的基本运维和方法，如Hive、Pig、ZooKeeper、Sqoop等。

3、理解什么是Spark和Spark在大数据领域的运用，以及理解主要功能。对运作机制有清晰全面的认识。全面掌握并可以独立规划及部署和使用Spark的4大功能。

a）Spark SQL数据存取

b) Spark Streaming流式计算

c）Spark MLlib机器学习

d）Spark Graphx图计算

4、多生态系统的基础以及架构的目的和方法。

课程对象

• 为就业者：学职业技能，从根本上解决毕业就等于失业的困顿。

• 为转行者：护航上路，大数据职业道路越走越宽广。

• 为创业者：提供金刚钻，不愁瓷器活。

• 为加薪者：用技术实力说话加薪、跳巢不再遥遥无期。

• 为提升者：跟上前沿技术，全面提升自我，为公司创造价值。

学员基础：

1. 了解面向对象编程；

2. 了解Linux的基本使用；

3. 了解关联数据库

4. 了解一种（Java、Python、Scala、C++。。。）语法

课前准备

本套课程主要是在Linux（Ubuntu 16.04）系统下实现的。为了让同学们尽快熟练掌握和应用多种三系统技术架构和数据库，每课将有基于Linux操作系统平台下练习和项目开发。所以开课之前，每位同学必须准备和完成以下功课：

• （手提）电脑一台至少有以下的配备。

Recommended system requirements:

2 GHz dual core processor or better

8 GB system memory （16）

100 GB of free hard drive space

Either a DVD drive or a USB port for the installer media

Internet access

• 安装虚拟机VMWAREplayer。（Virtual Box也行）

• 安装Ubuntu 16.04Linux操作系统

• 设置Linux桌面系统，以及文件和目录管理。

• Java开发环境的搭建和eclipse的安装。

• 用户登陆，用户注册。

• 设置备份系统。

课程表

60+课时，互动直播，三大生态系统全面深入学习，前甲骨文、安永咨询顾问，eWorthy Tech高级架构师授课

大数据开发工程师-初级