| 共 9 篇文章 |
|
通过http://hadoop1:8080查看Spark运行情况，可以看到Spark为3个节点，每个节点各为1个内核/512M内存，客户端分配3个核，每个核有512M内存。通过观察Spark集群有3个Worker节点和正在运行的1个应用程序，每个Worker节点为1内核/512M内存。由于没有指定应用程序所占内核数目，则该应用程序占用该集群所有3个内核，并且每个节点分配512M内存。根据... 阅34 转0 评0 公众公开 18-05-11 11:57 |
我们使用上一步骤编译好的hadoop-2.2.0.tar.gz文件作为安装包（也可以从网上下载native文件夹或者打包好的64位hadoop安装包），使用"Spark编译与部署（上）"中1. 3.1介绍的工具上传到/home/hadoop/upload 目录下。3. 把hadoop-2.2.0目录移到/app/hadoop目录下。确认hadoop2和hadoop3节点/app/hadoop所属组和用户均为hadoop，然后进入... 阅30 转0 评0 公众公开 18-05-11 11:56 |
Ganglia监控Hadoop与HBase集群。# vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-metrics2.properties*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.# vi /opt/hbase-1.0.1.1/conf/hadoop-metrics2-hbase.properties*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink.ganglia.period=10 hbase... 阅45 转0 评0 公众公开 18-05-08 16:41 |
基于Hadoop数据仓库Hive1.2部署及使用。# tar zxvf apache-hive-1.2.0-bin.tar.gz# mv apache-hive-1.2.0-bin /opt.# vi /etc/profileHIVE_HOME=/opt/apache-hive-1.2.0-binPATH=$PATH:$HIVE_HOME/binexport HIVE_HOME PATH# source /etc/profile.[root@HMaster0 ~]# hiveLogging initialized usingconfiguration in file:/opt/apache-hive-1.2... 阅47 转0 评0 公众公开 18-05-08 16:40 |
接下来部署HBase1.0分布式NoSQL数据库，HBase中涉及到HMaster和HRegionServer两个概念。# tar zxvf hbase-1.0.1.1-bin.tar.gz # mv hbase-1.0.1.1 /opt # vi hbase-env.sh export JAVA_HOME=/usr/local/jdk1.7 export HBASE_MANAGES_ZK=false #关闭通过内置Zookeeper管理HBase.# vi /etc/profile HBASE_HOME=/opt/hbase-1.0.1.1 PATH... 阅42 转0 评0 公众公开 18-05-08 16:39 |
Hadoop2.6(NN/RM)高可用集群安装与部署。# vi hdfs-site.xml<configuration> <property> <name>dfs.nameservices</name> <value>hcluster</value> </property> <!# vi /etc/profileHADOOP_HOME=/opt/hadoop-2.6.0PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport H... 阅76 转1 评0 公众公开 18-05-08 16:39 |
Hadoop2.7.3+HbaseHadoop安装部署基本步骤：export HADOOP_HOME=/opt/hbase/hadoop-2.7.3 （Hadoop的安装路径）export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"scp -r /opt/hadoop-2.7.3 192.168.172.72:/opt/hadoop-2.7.3 scp -r /op... 阅236 转1 评0 公众公开 18-05-08 16:27 |
接下来部署HBase1.0分布式NoSQL数据库，HBase中涉及到HMaster和HRegionServer两个概念。# tar zxvf hbase-1.0.1.1-bin.tar.gz # mv hbase-1.0.1.1 /opt # vi hbase-env.sh export JAVA_HOME=/usr/local/jdk1.7 export HBASE_MANAGES_ZK=false #关闭通过内置Zookeeper管理HBase.# vi /etc/profile HBASE_HOME=/opt/hbase-1.0.1.1 PATH... 阅53 转0 评0 公众公开 18-02-05 10:12 |
