配色: 字号:
在Windows上安装Hadoop教程
2017-03-29 | 阅:  转:  |  分享 
  
在Windows上安装Hadop教程一见2010.1.6.hadoopor.com/hadoopor@foxmail.com1.安装JDKKKK

不建议只安装JRE,而是建议直接安装JDK,因为安装JDK时,可以同时安装JRE。MapReduce程序的编写和Hadoop的编译都依赖于JDK,光JRE是不够的。JRE下载地址:htp:/w.jav.com/zh_CN/download/manual.jspJDK下载地址:t:/jav.sun.c/javse/las/idex.js,下载JavSE即可。2.安装Cygwin

在安装Cygwin之前,得先下载Cygwin安装程序setup.exe。Cygwin安装程序下载地址:http:/w.cygwin.com/setup.exe,当然也可以从http:/w.cygwin.cn/setup.exe下载Cygwin安装程序,不过如果在安装过程中,遇到如下图所示的错误,则只能从http:/w.cyin.com/setup.exe下载,本教程下载的是Cygwin1.7.1版本。

Cygwin安装程序setup.exe的存放目录可随意无要求。当setup.exe下载成功后,运行setup.exe,弹出如下图所示的对话框:

在Windows上安装Hadop教程

2

在上图所示的对话框中,直接点击“下一步”,进入如下图所示的对话框:

在上图所示的对话框中,选择“InstalfromInternet”,然后点击“下一步”,进入如下图所示对话框:

在Windows上安装Hadop教程

3

在上图所示的对话框中,设置Cygwin的安装目录,InstalFor选择“AlUsers”,DefaultTextFileType选择“Unix/binary”,然后点击“下一步”,进入如下图所示对话框:

在上图所示的对话框中,设置Cygwin安装包存放目录,然后点击“下一步”,进入如下图所示对话框:

在Windows上安装Hadop教程

4

在上图所示的对话框中,选择“DirectConnection”,然后点击“下一步”,进入如下图所示对话框:

在上图所示的对话框中,点击“下一步”,将进入如下图所示的对话框:

在Windows上安装Hadop教程

5

在上图所示的对话框过程中,可能会弹出如下图所示的“SetupAlert”对话框,直接点击“确定”即可。

进入“SelctPackages”对话框后,必须保证“NetCategory”下的“OpenSSL”被安装,如下图所示:

在Windows上安装Hadop教程

6

如果还打算在eclipse上编译Hadoop,则还必须安装“BaseCategory”下的“sed”,如下图所示:

另外,还建议将“EditorsCategory”下的vim安装,以方便在Cygwin上直接修改配置文件;“DevlCategory”下的subversion建议安装,如下图所示:

在Windows上安装Hadop教程

7

当完成上述操作后,点击“SelctPackages”对话框中“下一步”,进入Cygwin安装包下载过程,如下图所示:

等待安装包下载完毕,当下载完后,会自动进入到如下图所示的对话框:

在Windows上安装Hadop教程

8

在上图所示的对话框中,选中“CreaticonDesktop”,以方便直接从桌面上启动Cygwin,然后点击“完成”按钮。至此,gywin已经安装完,安装目录下的内容如下图所示:

3.配置环境变量需要配置的环境变量包括PATH和JAV_HOME:JAV_HOME指向JRE安装目录;JDK的bin目录,Cygwin的bin目录,以及Cygwin的usr\bin目录都必须添加到PATH环境变量中,如下图所示:

在Windows上安装Hadop教程

9

4.安装shd服务点击桌面上的Cygwin图标,启动Cygwin,执行sh-ost-config命令,如下图所示:

在Windows上安装Hadop教程

10

在执行sh-host-config时,当要求输入yes/no时,选择输入no,如下图所示:

如果是Cygwin1.7之前的版本,则sh-host-config显示界面如下图所示:

在Windows上安装Hadop教程

1

当看到“Havefun”时,一般表示shd服务安装成功了,如上图所示。接下来,需要启动shd服务。5.启动shd服务

在桌面上的“我的电脑”图标上单击右键,点击“管理”菜单,进入Windows计算机管理,如下图所示:

在Windows上安装Hadop教程

12

在上图所示的对话框中,选中“CYGWINGGGshd”,弹出右键,并启动CYGWINshd服务,成功后,如下图所示:

当CYGWINshd的状态为“已启动”后,接下来就是配置sh登录。6.配置sh登录

执行sh-keygen命令生成密钥文件,如下图所示:

在Windows上安装Hadop教程

13

在上图所示对话框中,需要输入时,直接按回车键即可,如果不出错,应当是需要三次按回车键。接下来生成authorized_keys文件,按下图所示操作即可:

正如上图所示,只需要两步操作,即可生成authorized_keys文件:cd~/..ssh/

在Windows上安装Hadop教程

14

cpid_rsa.pubauthorized_keys完成上述操作后,执行exit命令先退出Cygwin窗口,如果不执行这一步操作,下面的操作可能会遇到错误。接下来,重新运行yin,执行shlocalhost命令,在第一次执行shlocalhost时,会有如下图所示的提示,输入yes,然后回车即可:

如果是Windows域用户,这步操作可能会遇到问题,错误信息如下:。

这个错误暂无解决办法,问题的解决情况,可关注Hadoop技术论坛中的贴:http:/bbs.hadoopor.com/thread-348-11.html(Cygwin1.7.1版本sh问题)。否则,如果成功,执行who命令时,可以看到如下图所示的信息:至此,配置sh登录成功,下面就可以开始安装hadoop了。

7.下载hadop安装包hadoop安装包下载地址:http:/labs.xiaonei.com/apache-miror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz

在Windows上安装Hadop教程

15

8.安装hadop将hadoop安装包hadoop-0.20.1.tar.gz解压到D:\hadoop\run目录(可以修改成其它目录)下,如下图所示:

接下来,需要修改hadoop的配置文件,它们位于conf子目录下,分别是hadoop-env.sh、core-site.xml、hdfs-ite.xml和mapred-site.xml共四个文件。在Cygwin环境,masters和slaves两个文件不需要修改。?修改hadoop-env.sh只需要将JAV_HOME修改成JDK的安装目录即可,请注意JDK必须是1.6或以上版本。?修改core-site.xml

为简化core-site.xml配置,将D:\hadoop\run\src\ore目录下的core-default.xml文件复制到D:\hadoop\run\conf目录下,并将core-default.xml文件名改成core-site.xml。修改fs.default.name的值,如下所示:

在Windows上安装Hadop教程

16

上图中的端口号8888,可以改成其它未被占用的端口。?修改hdfs-ite.xml为简化hdfs-ite.xml配置,将D:\hadoop\run\src\hdfs目录下的hdfs-default.xml文件复制到D:\hadoop\run\conf目录下,并将hdfs-default.xml文件名改成hdfs-ite.xml。不需要再做其它修改。

?修改mapred-site.xml为简化mapred-site.xml配置,将D:\hadoop\run\src\mapred目录下的mapred-default.xml文件复制到D:\hadoop\run\conf目录下,并将mapred-default.xml文件名改成mapred-site.xml。

上图中的端口号9999,可以改成其它未被占用的端口。到这里,hadoop宣告安装完毕,可以开始体验hadoop了!9.启动hadop

在Cygwin中,进入hadoop的bin目录,运行./start-al.sh启动hadoop,在启动成功之后,可以执行./hadoopfs-ls/命令,查看hadoop的根目录,如下图所示:

在Windows上安装Hadop教程

17

如果运行mapreduce,请参考其它文档,本教程的内容到此结束。

献花(0)
+1
(本文系关平个人图...首藏)