Hadoop可视化与交互式工具：Zeppelin和Hue

啊司com 2016-12-06

展开全文

Hadoop可视化与交互式工具：Zeppelin和Hue

前言

目前Aliyun E-MapReduce支持了Appache Zeppelin和Hue，在Aliyun E-MapReduce集群上可以很方便的使用zeppelin和hue。

Apache Zeppelin是一个提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。

准备工作

创建集群

创建集群的时候选择E-MapReduce支持zeppelin和hue主版本。目前E-MapReduce支持Zeppelin和Hue的主版本为1.3.0。创建集群的时候记得设置打开公网ip。

打通ssh无密登录并建立一个SSH隧道

集群创建完成之后，需要建立一个ssh隧道来访问集群的8888和8080端口。详细步骤参考：https://help.aliyun.com/document_detail/28187.html

这里以mac环境为例，使用chrome浏览器实现端口转发（假设集群master节点公网ip为xx.xx.xx.xx）：

a). 登录到master节点

ssh root@xx.xx.xx.xx输入密码

b). 查看本机的id_rsa.pub内容（注意在本机执行，不要在远程的master节点上执行）

cat ~/.ssh/id_rsa.pub

c). 将本机的id_rsa.pub内容写入到远程master节点的~/.ssh/authorized_keys中（在远端master节点上执行）

mkdir ~/.ssh/vim ~/.ssh/authorized_keys然后将步骤b)中看到的内容粘贴进来

现在应该可以直接使用ssh root@xx.xx.xx.xx免密登录master节点了。

d). 在本机执行以下命令进行端口转发

ssh -i ~/.ssh/id_rsa -ND 8157 root@xx.xx.xx.xx

e). 启动chrome（在本机新开terminal执行）

/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server='socks5://localhost:8157' --host-resolver-rules='MAP * 0.0.0.0 , EXCLUDE localhost' --user-data-dir=/tmp

f). 在新打开的chrome中访问Zeppelin和Hue

zeppelin: xx.xx.xx.xx:8080hue: xx.xx.xx.xx:8888

操作步骤和示例

Zepplein

在chrome中访问xx.xx.xx.xx:8080，首先创建一个新的noteboook

一个简单的zeppelin示例

支持markdown语法

%md## Welcome to Aliyun E-MapReduce. This is a Zeppelin sample.##### This is a live tutorial, you can run the code yourself. (Shift-Enter to Run)

原生支持scala。使用scala进行load数据

import org.apache.commons.io.IOUtilsimport java.net.URLimport java.nio.charset.Charset// Zeppelin creates and injects sc (SparkContext) and sqlContext (HiveContext or SqlContext)// So you don't need create them manually// load bank dataval bankText = sc.parallelize(    IOUtils.toString(        new URL('http://emr-sample-projects.oss-cn-hangzhou./bank.csv'),        Charset.forName('utf8')).split('\n'))case class Bank(age: Integer, job: String, marital: String, education: String, balance: Integer)val bank = bankText.map(s => s.split(';')).filter(s => s(0) != '\'age\'').map(    s => Bank(s(0).toInt,             s(1).replaceAll('\'', ''),            s(2).replaceAll('\'', ''),            s(3).replaceAll('\'', ''),            s(5).replaceAll('\'', '').toInt        )).toDF()bank.registerTempTable('bank')

使用spark sql查询和展示结果

%sql select age, count(1) valuefrom bank where age < 30="" group="" by="" age="" order="" by="">

%sql select age, count(1) value from bank where age < ${maxage="30}" group="" by="" age="" order="" by="">

%sql select age, count(1) value from bank where marital='${marital=single,single|divorced|married}' group by age order by age

zeppelin 运行shell示例

%shcd /tmpwget http://emr-sample-projects.oss-cn-hangzhou./bank.csvls -larm bank.csvls -lasu -l hadoop -c 'hadoop dfs -ls /'

zeppelin上运行hive sql示例

Download Spending Dataset into HDFS

%sh#remove existing copies of dataset from HDFSsu -l hadoop -c 'hadoop fs -rm  /tmp/expenses.csv'#fetch the datasetwget http://emr-sample-projects.oss-cn-hangzhou./healthexpenditurebyareaandsource.csv -O /tmp/expenses.csv#remove headersed -i '1d' /tmp/expenses.csv#remove empty fieldssed -i 's/,,,,,//g' /tmp/expenses.csvsed -i '/^\s*$/d' /tmp/expenses.csv#put data into HDFSsu -l hadoop -c 'hadoop fs -put /tmp/expenses.csv /tmp'su -l hadoop -c 'hadoop fs -ls -h /tmp/expenses.csv'rm /tmp/expenses.csv

%hivedrop table if exists `health_table`

Create Hive table

%hiveCREATE TABLE `health_table` (`year` string ,`state` string ,`category` string ,`funding_src1` string, `funding_src2` string,`spending` int)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TextFile

Load dataset into Hive table

%hiveload data inpath '/tmp/expenses.csv'into table health_table

Grant permissions

%hiveselect count(*) from health_table

Spending (In Billions) By State

%hiveselect state, sum(spending)/1000 SpendinginBillionsfrom health_table group by stateorder by SpendinginBillions desc

Spending (In Billions) By Year

%hiveselect year,sum(spending)/1000 SpendinginBillions from health_table group by year order by SpendinginBillions

Spending (In Billions) By Category

%hiveselect category, sum(spending)/1000 SpendinginBillions from health_table group by category order by SpendinginBillions desc

zeppelin notebook json配置

zeppelin的每个notebook都是可以保存、导入和导出的。上面的三个示例，可以通过下载json配置直接导入。

zeppelin插图

zeppelin中的插图，都可以进行复制和保存：

Hue

通过xx.xx.xx.xx:8888访问Hue。第一次登陆hue的时候，需要设置一个管理员账户和密码。请慎重设置和保管你的Hue管理员账户和密码信息。

Hive Editor

通过Hive Editor可以进行hive sql的编写和交互式运行。在左边栏DATABASE中会展示当前的数据库和表信息。

Metastore Manager

通过Metastore Manager可以查看和管理hive表，可以可视化创建表。

File Browser

通过File Browser可以查看和管理到hdfs上的文件。

示例代码

这里展示一个通过hue metastore界面从文件建表的过程，并通过Hive Editor对表中的数据做查询和展示的例子。

首先，下载数据文件到master节点，并且将该文件放入hdfs的/tmp目录下。可以ssh到master节点上操作，也可以直接使用zepplein的shell notebook。

有三种方式可以实现将数据文件放在hdfs的/tmp目录下：

直接ssh登录到master节点上：

ssh root@xx.xx.xx.xxcd /tmpwget http://emr-sample-projects.oss-cn-hangzhou./us_map.csvsu -l hadoop -c 'hadoop fs -put /tmp/us_map.csv /tmp/us_map.csv'su -l hadoop -c 'hadoop fs -ls -h /tmp/us_map.csv'