Flink集成到CDH上，并运行一个例子

 下载Flink1.9的Parcel，并放置/var/www/html目录（本地yum源）。也可以直接把文件放到/opt/cloudera/parcel-repo目录下。我这里是放在我本地的yum服务器上

下面我们就第二大步骤进行详细讲解（四小步骤）。

一：创建flink包

下载flink parcel

1 # git clone https://github.com/pkeropen/flink-parcel.git  #文件已经下载到本地yum源库上

1. 需要提前安装maven，执行编译脚本的需要用

1 # yum -y install maven
2 # chmod 744 build.sh

2. 配置flink-parcel.properties

 1 #FLINK 下载地址  
 2 FLINK_URL=https://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz 
 3   
 4 #flink版本号  
 5 FLINK_VERSION=1.9.1  
 6   
 7 #扩展版本号  
 8 EXTENS_VERSION=BIN-SCALA_2.12  
 9    
10 #操作系统版本，以centos为例  
11 OS_VERSION=7  
12    
13 #CDH 小版本  
14 CDH_MIN_FULL=5.2  
15 CDH_MAX_FULL=6.3.2  
16    
17 #CDH大版本  
18 CDH_MIN=5  
19 CDH_MAX=6

3. 执行脚本 ，生成parcel，csd文件(时间有点久，需要耐心等待)

1 # ./build.sh parcel  #生成parcel文件
2 # ./build.sh csd_on_yarn  #生成csd文件， 会生产一个jar包，FLINK_ON_YARN-1.10.0.jar

parcel的包在FLINK-1.10.0-BIN-SCALA_2.12_build 文件夹下

4. 把FLINK_ON_YARN-1.9.1.jar 这个文件放在本地的/opt/cloudera/csd/。CDH服务器识别flink的时候需要用。之后重启

1 # cp FLINK_ON_YARN-1.9.1.jar /opt/cloudera/csd/    #本地cdh能识别这个软件的目录下

以下的步骤都是一样，这里单独列出

1. cloudera manager 配置flink parcel。如果是直接拷贝到本地的，可以不配置。

   
    

2. 需要激活flink，要不然无法完成安装 下载—>>分配—>>激活

    

    

    

    

   
   

   

3. 添加flink服务

   
4. 完成配置
   

运行flink第一个例子

1. 运行代码

2. 1 flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.1.110:8020/tmp/word.txt --output hdfs://192.168.1.110:8020/tmp/result

   
3. 

4. 查看结果

5. 

 

FLINK的界面

yran上的界面

  至此，Flink1.9安装到CDH6.3以及第一个例子介绍完毕。