1、scala_sdk版本的一致性 IDEA中的scala_sdk的版本要和引入jar包中scala的版本保持一致性。 以下是我引入的spark-2.2.0-bin-hadoop2.7安装包中的jar包: 可见需要的scala版本是2.11.8版本,因此在IDEA配置scala_sdk时也要使用2.11.8版本,否则在提交spark集群时会报如下错误:
2、hadoop版本的一致性
从spark-2.2.0-bin-hadoop2.7安装包的名字就可以判定hadoop需要的版本为2.7.x,我安装的为hadoop-2.7.3。 3、Linux中scala版本的一致性。 在linux中安装scala版本也最好安装成2.11.8版本的,但是在这里我安装的2.13.1,也可以正常运行,不知道以后会不会出现不兼容问题。 |
|
来自: 昵称70680357 > 《待分类》