http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的Linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏。 之前是在Docker中配置的Hadoop单机伪分布式[Hadoop:Hadoop单机伪分布式的安装和配置 ],并且在docker只有root用户,所有没有权限问题存在。 这里直接在linux下配置,主要是为了能用netbeans ide调试hadoop程序,并且使用的用户就是开机时登录的用户pika。 本教程配置环境: ubuntu14.04(Ubuntu 12.04 /32位、64位都ok! lz是直接使用的双系统中的linux) hadoop 2.6.4 (原生 Hadoop 2都ok!) jdk1.7.0_101(应该1.6+应该都ok!) 基本环境配置安装和配置Java环境在主机上从Oracle官方网站下载对应版本的JDK安装包 $ sudo vim ~/.bashrc 或者/etc/profile PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games" export JAVA_HOME=/opt/jdk1.8.0_73 export PATH=$PATH:${JAVA_HOME}/bin sudo update-alternatives --install /usr/bin/javac javac /opt/jdk1.8.0_73/bin/javac 300; 安装SSH、配置SSH无密码登陆集群、单节点模式都需要用到 SSH (ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons,而这并没有说一定要ssh localhost登录!!!lz亲测,运行hadoop不需要ssh localhost登录,只要安装并运行了sshd就可以了),Ubuntu 默认已安装了 SSH client,还需要安装 SSH server: 编辑sshd的配置文件pika:~$sudo vim /etc/ssh/sshd_config,将其中大概88行,UsePAM参数设置成“no” #每次重启都要重新启动,所以要加入到profile中开机自启 pika:~$sudo vim /etc/profile 其中加入一行/etc/init.d/ssh start 查看ssh服务状态 pika:~$ps -e | grep ssh 安装后设置ssh 可以使用如下命令登陆本机:ssh localhost 关于设置hadoop用户 (前面说了,其实完全可以不用) Hadoop的安装和配置Hadoop 2 可以通过 http://mirror./apache/hadoop/common/ 或者 http://mirrors./apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。lz下载的是hadoop-2.6.4。 安装Hadoop 至 /usr/local/ 中下载hadoop到/usr/local并解压 pika:~$sudo wget http://mirror./apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz -P /usr/local pika:~$cd /usr/local/ pika:/usr/local$sudo tar -zxf hadoop-2.6.4.tar.gzpika:/usr/local$sudo ln -s /usr/local/hadoop-2.6.4 /usr/local/hadoop #设置软链接,这样两个目录是一样的了 pika:/usr/local$ls /usr/local/hadoop bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share sudo chown -R hadoop ./hadoop # -R递归修改文件所有者为hadoop 检查 Hadoop 是否可用pika:/usr/local$hadoop/bin/hadoop version Hadoop单机伪分布式配置{如上所述,下面的安装和运行其实根本没用到ssh localhost登录,也可以运行!如果实在要ssh登录只用在start-dfs.sh执行前登录就可以了} Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。 Hadoop执行命令目录加入到path中pika:~$sudo vim ~/.bashrc 或者/etc/profile PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games" export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/ export CLASSPATH=$CLASSPATH:/usr/local/hadoop-2.6.4/etc/hadoop:/usr/local/hadoop-2.6.4/share/hadoop/common/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/common/*:/usr/local/hadoop-2.6.4/share/hadoop/hdfs:/usr/local/hadoop-2.6.4/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/hdfs/*:/usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/yarn/*:/usr/local/hadoop-2.6.4/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/mapreduce/*:/usr/local/hadoop-2.6.4/contrib/capacity-scheduler/*.jar export HADOOP_HOME=/usr/local/hadoop-2.6.4 export SPARK_HOME=/opt/sparkexport PYSPARK_PYTHON=python3 Note: HADOOP_HOME也可以使用软链接;lz之前配置过spark,里面有spark的配置,不用管,主要是加色的部分加上去就ok了。pika:~$ . ~/.bashrc 或者/etc/profile #下次重启后不用 pika:~$echo $PATH 改配置文件 core-site.xml和hdfs-site.xmlpika:~$cd /usr/local/hadoop pika:/usr/local/hadoop$sudo vim etc/hadoop/core-site.xml 将当中的<configuration></configuration>修改成: <configuration> Note: 我去,设置了vim后,vim中粘贴都会自动缩进,所以可以先在gedit将前面的空格删了:^\s+。 同样修改配置文件 hdfs-site.xml: pika:/usr/local/hadoop$sudo vim etc/hadoop/hdfs-site.xml <configuration> Hadoop配置文件说明Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。 同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。 配置完成后,执行 NameNode 的格式化hadoop中配置JAVA_HOME pika:~$sudo vim /usr/local/hadoop-2.6.4/libexec/hadoop-config.sh 在大概161行位置加上export JAVA_HOME=/opt/jdk1.8.0_73 $cd /usr/local/hadoop pika:/usr/local/hadoop$sudo bin/hdfs namenode -format 开启 NameNode 和 DataNode 守护进程对hadoop安装目录执行命令对文件敞开权限,否则会出错Starting namenodes on [localhost] localhost: mkdir: cannot create directory ‘/usr/soft/hadoop-2.6.3/logs’: Permission denied pika:~$sudo chown -R pika:pika /usr/local/hadoop-2.6.4 Note: lz将hadoop目录所有权修改成了当前用户pika及用户组pika,并给目录递归加上的当前用户pika的写权限。当然也可以直接给所有用户都加上w权限:$sudo chmod a+w -R /usr/local/hadoop-2.6.4/,不过lz觉得这样可能会有安全隐患。 pika:~$start-dfs.sh Note: 出现上面结果不一定就是说hadoop运行正确了,要通过下面的jps查看。 如果运行上面的start-dfs.sh出错,再次运行可能会出错,一般都是因为没有stop相关的程序。所以要通过stop-dfs.sh实现。 通过jps查看启动的Hadoop进程启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”(如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试)。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。 pika:~$jps 通过web界面访问如果是linux或者虚拟机配置的hadoop,成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。 启动Hadoop可能的错误及解决Hadoop无法正常启动的解决方法 如: FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /usr/local/hadoop-2.6.4/tmp/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 这个错误是一般都是因为没有如上sudo vim etc/hadoop/hdfs-site.xml配置,或者是没有如上修改当前用户write目录的权限。 错误1: 启动时可能会出现如下 WARN 提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。该 WARN 提示可以忽略,并不会影响正常使用(该 WARN 可以通过 编译 Hadoop 源码解决)。 错误2: 出错:Starting namenodes on [localhost] 明明已经设置了,并且$ echo $JAVA_HOME 解决方案: 如上提到的,要在hadoop中配置JAVA_HOME pika:~$sudo vim /usr/local/hadoop-2.6.4/libexec/hadoop-config.sh 在大概161行位置加上export JAVA_HOME=/opt/jdk1.8.0_73 错误3: 启动 Hadoop 时提示 Could not resolve hostname 错误4:DataNode 没有启动 一般情况下,若是 DataNode 没有启动,可尝试如下的方法(注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做): Hadoop单机伪分布式运行实例单机模式grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。这里我们还要自己写java代码,并在java代码中引入hadoop packages。 如果你是自己创建的用户,并且没有用户目录的话,要使用 HDFS,首先需要在 HDFS 中创建用户目录: 添加hadoop classpath这一步已经在上面的path环境配置中配置过了 pika:/media/pika/files/mine/java_workspace/BDMS/src/hw2$hadoop classpath /usr/local/hadoop-2.6.4/etc/hadoop:/usr/local/hadoop-2.6.4/share/hadoop/common/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/common/*:/usr/local/hadoop-2.6.4/share/hadoop/hdfs:/usr/local/hadoop-2.6.4/share/hadoop/hdfs/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/hdfs/*:/usr/local/hadoop-2.6.4/share/hadoop/yarn/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/yarn/*:/usr/local/hadoop-2.6.4/share/hadoop/mapreduce/lib/*:/usr/local/hadoop-2.6.4/share/hadoop/mapreduce/*:/usr/local/hadoop-2.6.4/contrib/capacity-scheduler/*.jarNote:要将hadoop classpath输出加入到CLASSPATH中,Hadoop provides a convenient utility to get the CLASSPATH information you need. Run "hadoop classpath" This should give you the information you need set your classpath for compiling your code.否则java代码中import package org.apache.hadoop.*会出错:javac .java error: package org.apache.hadoop.conf does not exist...[package org.apache.hadoop.fs does not exist] #启动hadoop并将input文件copy到hdfs中pika:~$hdfs dfs -ls /pika:~$hdfs dfs -mkdir -p /pika/input pika:~$hdfs dfs -ls / drwxr-xr-x - pika supergroup 0 2016-06-10 19:22 /pika 将输入文件copy到hadoop hdfs文件系统中供其使用(.java文件是可以不用copy进去的) pika:~$hdfs dfs -put /media/pika/files/mine/java_workspace/BDMS/src/hw2/*input* /pika/input pika:~$hdfs dfs -ls /pika/input -rw-r--r-- 1 pika supergroup 165 2016-06-10 19:28 /pika/input/example-input.txt Note: /media/pika/files/mine/java_workspace/BDMS/src/hw2/目录下的文件有哪些可以在这里下载[avg-time hadoop程序] #编译执行java的hadoop程序 pika:~$cd /media/pika/files/mine/java_workspace/BDMS/src/hw2/ pika:/media/pika/files/mine/java_workspace/BDMS/src/hw2$ javac AvgTime.java pika:/media/pika/files/mine/java_workspace/BDMS/src/hw2$hadoop jar ./AvgTime.jar /pika/input/example-input.txt /pika/output #执行hadoop程序 运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作: from: http://blog.csdn.net/pipisorry/article/details/51623195 ref: |
|
来自: 关平藏书 > 《Hadoop家族》