flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。 首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https://flink./downloads.html 我们可以选择Flink与Scala结合版本,这里我们选择最新的1.9版本Apache Flink 1.9.0 for Scala 2.12进行下载。 下载成功后,在windows系统中可以通过Windows的bat文件或者Cygwin来运行Flink。 在linux系统中分为单机,集群和Hadoop等多种情况。 通过Windows的bat文件运行首先启动cmd命令行窗口,进入flink文件夹,运行bin目录下的 注意:运行flink需要java环境,请确保系统已经配置java环境变量。
显示启动成功后,我们在浏览器访问 http://localhost:8081/可以看到flink的管理页面。 通过Cygwin运行Cygwin是一个在windows平台上运行的类UNIX模拟环境,官网下载:http:///install.html 安装成功后,启动Cygwin终端,运行
显示启动成功后,我们在浏览器访问 http://localhost:8081/可以看到flink的管理页面。 Linux系统上安装flink单节点安装在Linux上单节点安装方式与cygwin一样,下载Apache Flink 1.9.0 for Scala 2.12,然后解压后只需要启动start-cluster.sh。 集群安装集群安装分为以下几步: 1、在每台机器上复制解压出来的flink目录。 2、选择一个作为master节点,然后修改所有机器conf/flink-conf.yaml
3、修改conf/slaves,将所有work节点写入
4、在master上启动集群
安装在Hadoop我们可以选择让Flink运行在Yarn集群上。 下载Flink for Hadoop的包 保证 HADOOP_HOME已经正确设置即可 启动 bin/yarn-session.sh 运行flink示例程序批处理示例:提交flink的批处理examples程序:
这是flink提供的examples下的批处理例子程序,统计单词个数。
得到结果,这里统计的是默认的数据集,可以通过--input --output指定输入输出。 我们可以在页面中查看运行的情况: 流处理示例:启动nc服务器:
提交flink的批处理examples程序:
这是flink提供的examples下的流处理例子程序,接收socket数据传入,统计单词个数。 在nc端写入单词
输出在日志中
停止flink
更多实时计算,Flink,Kafka等相关技术博文,欢迎关注实时流式计算
|
|