|
学Spark需要什么基础？作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。那么Spark需要什么基础？今天就来给大家讲讲Spark需要什么基础？ 首先，学习大数据，不管是Hadoop还是Spark，基本功都少不了Linux和Java。搭建集群环境，Linux基础是必须的，系统操作命令是基础中的基础。而Java，主要以JavaSE的知识为重点，包括面向对象、集合、io、多线程以及JDBC操作等，这部分是大数据开发当中常常需要用到的。 其次，是要建立起大数据技术背景，对于大数据处理各个环节，以及对应的解决方案，系统框架要有基本的认识： 1、数据采集：Flume、Kafka、Logstash、Filebeat... 2、数据存储：Mysql、Redis、Hbase、HDFS... 3、数据查询：Hive、Elasticsearch... 4、实时数据计算：Storm、Spark-streaming、Flink... 5、离线数据计算：Hadoop、Spark... 6、其他框架：Zookeeper... 有了这样的背景基础之后，开始Spark学习也能够更快地理解很多东西，特点建议在Spark学习之间要先对Hadoop框架有比较全面的认识，包括核心的HDFS、MapReduce、Yarn等，这部分和Spark联系紧密，对于像Spark为什么计算性能优异，架构设计为什么会这样设计等等这样的问题，也能更快理解和消化。 对于Spark框架的学习，Spark生态圈各组件需要着重掌握，包括Spark-core，Spark-streaming，Spark-mlib，Spark-graphx，刚开始学习的时候主要学习Spark-core和Spark-streaming，Spark-mlib和Spark-graphx可以等后期工作需要或者有时间了在研究即可。 Spark需要什么基础？相信看完上面的介绍，大家也都有了基本的了解了。Spark作为大数据计算第二代引擎的代表，在越来越多的平台当中得以应用，可以这样说，想进入大数据行业，Spark是必须要掌握的。 |
|
|
