Scrapy定向爬虫教程(四)

昵称54185769 2018-05-08

展开全文

本节内容

这一小结我们共同学习把Scrapy爬取到的数据存储到MongoDB数据库中。其中包括以下知识：

Linux下MongoDB的安装
pymongo的安装
Scrapy + pymongo
Robmongo的下载使用

我已将本节内容的源码传至本项目的useMongoDB分支，不学习本节不影响以后的教程学习。

安装MongoDB

使用apt-get进行安装

sudo apt-get install mongodb1

打开/关闭服务命令

sudo service mongodb start
sudo service mongodb stop1
2

如果不对其进行配置的话，MongoDB的默认端口是27017，我们就使用默认配置吧。

为了测试是否安装成功，可以在命令行中输入

sudo service mongodb start
mongo1
2

正常如下图所示：
mongo

pymongo的安装

在本地搭起了MongoDB并开启后，我们需要使用Python来操作它，pymongo就是一个Python操作MongoDB的第三方库。

直接使用pip下载它，输入以下命令：

sudo pip install pymongo1

结果如下图代表安装成功

可以先在命令行里验证一下是否能够调用，如下图，没问题：

Scrapy+pymongo

我们这里使用的是第三节完成的项目进行修改，项目地址：heartsong。原本是将爬取的数据存入txt文件，现在我们改成将数据存入本地MongoDB数据库，当然，远程数据库也同理啦。

首先开启本地的MongoDB服务

sudo service mongodb start1

在settings.py文件中添加数据库的配置项

MONGO_HOST = "127.0.0.1"  # 主机IP
MONGO_PORT = 27017  # 端口号
MONGO_DB = "Spider"  # 库名 
MONGO_COLL = "heartsong"  # collection名
# MONGO_USER = "zhangsan"
# MONGO_PSW = "123456"1
2
3
4
5
6

然后编写Pipelines.py

# -*- coding: utf-8 -*-

import pymongo
from scrapy.conf import settings

class HeartsongPipeline(object):
    def __init__(self):
        # 链接数据库
        self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
        # 数据库登录需要账号密码的话
        # self.client.admin.authenticate(settings['MINGO_USER'], settings['MONGO_PSW'])
        self.db = self.client[settings['MONGO_DB']]  # 获得数据库的句柄
        self.coll = self.db[settings['MONGO_COLL']]  # 获得collection的句柄

    def process_item(self, item, spider):
        postItem = dict(item)  # 把item转化成字典形式
        self.coll.insert(postItem)  # 向数据库插入一条记录
        return item  # 会在控制台输出原item数据，可以选择不写1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18