Nutch 笔记（一）：Quick Start

关键字:   nutch    

最近用到了nutch,目的是针对指定的一些网站抓取其内容，然后做分析用。 nutch 笔记是我使用nutch过程一系列总结，写下自己的学习经过和大家一起分享，也希望能得到大家的指点 好了，废话少说，言归正传，第一篇：Quick Start,我们的目标是快速的能跑起来，能检索出我们想要的结果。 首先要明白nutch是什么？ nutch是一个基于lucene的开源搜索引擎，它包括了所有你想要的东西，是一个完整的解决方案 。 一：安装JDK 如果你已经安装了JDK,并且已经设置了JAVA_HOME，那么跳过这一步 安装jdk 代码 sudo apt-get install sun-java5-jdk 或者从sun公司网站下载bin文件执行安装   设置了JAVA_HOME 代码 sudo vi ~/.bashrc 在最后面增加 代码 export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun export PATH=$PATH:$JAVA_HOME/bin   二：下载nutch的最新版本nutch0.8.1 代码 wget http://apache.justdn.org/lucene/nutch/nutch-0.8.1.tar.gz   释放下来即可 代码 tar zxvf nutch-0.8.1.tar.gz   三：抓取页面 增加url 代码 cd nutch-0.8.1 mkdir urls echo http://www.xici.net>>urls/xici   编辑conf/crawl-urlfilter.txt,修改MY.DOMAIN.NAME为 代码 +^http://([a-z0-9]*\.)*xici.net/   修改conf/nutch-site.xml，增加http.agent.name值 代码 <property> <name>http.agent.name</name> <value>test/unique</value> </property>   执行bin/nutch crawl开始抓取页面 代码 sudo bin/nutch crawl urls -dir crawl -depth 5 -topN 50&   这个过程需要等待一些时间 三：检索 安装tomcat,我们使用apache网站上的包 代码 cd .. wget http://mirror.vmmatrix.net/apache/tomcat/tomcat-5/v5.5.20/bin/apache-tomcat-5.5.20.tar.gz tar zxvf apache-tomcat-5.5.20.tar.gz   将nutch自带的war文件拷贝到webapps下面 代码 rm -rf apache-tomcat-5.5.20/webapps/ROOT* cp nutch-0.8.1/nutch*.war apache-tomcat-5.5.20/webapps/ROOT.war   运行tomcat,如果不设定nutch-site.xml的searcher.dir的值，则需要在crawl目录下面执行 代码 sudo ${TOMCAT的目录}/bin/startup.sh   我们也可以设定nutch-site.xml的searcher.dir的值 代码 sudo vi ${TOMCAT的目录}/webapps/ROOT/WEB-INF/classes/nutch-site.xml   增加 代码 <property> <name>searcher.dir</name> <value>/home/martin/doc/nutch-0.8.1/crawl</value> </property>   四:中文乱码 修改tomcat的server.xml，在Connector的tag最后增加 代码 URIEncoding="UTF-8"   五：截图 ----------------------- nutch site:http://lucene./nutch nutch wiki:http://wiki./nutch/