Ubuntu 搭建scrapy开发环境

（1）、Python 2.7

（2）、lxml。 Most linux distributions ships PRepackaged versions of lxml. Otherwise refer tohttp:///installation.html

（3）、OpenSSL。 This comes preinstalled in all Operating systems except Windows (see Platform specific installation notes)

（4）、pip or easy_install Python package managers

我们安装的Ubuntu14.01系统都已经自带了前面3个，Python的版本为2.7.6。为了验证是否有安装，我们来查看一下。

·  打开终端，执行如下命令python， 接下来就是import lxml， import OpenSSL。如下图。如果import没有报错，说明系统已经自带了。

·  为了能够保证下面的安装能够成功。我们先执行：sudo apt-get install python-dev。如图：

·  再执行：sudo apt-get install libevent-dev。如图：

·  在这里说明一下，不安装上面两个可能会出现一些错误，导致在后面的工作无法进行。

·  接下来就是安装pip了，执行：apt-get install python-pip。如图：

·  7

最后，也就是最重要的，安装Scrapy。执行：pip install Scrapy，如图：

·  8

到这里就已经安装完成了。接下来就是使用这个框架了。

接下来就是看是否搭建成功：创建一个scrapy工程scrapy startproject 工程名

查看是否安装：shhd 命令：ps -ef | grep sshd主要用于Xshell远程连接

pip升级后Import Error:cannot import name main解决方案:

参考：https://blog.csdn.net/tintinetmilou/article/details/80091630

在Ubuntu上安装软件，不小心升级了pip，导致使用时报错如下

后来发现是因为将pip更新为10.0.0后库里面的函数有所变动造成这个问题。 解决方法如下：

sudo gedit /usr/bin/pip

将原来的：

from pip import main
if __name__ == '__main__':
    sys.exit(main())

改为：

from pip import __main__
if __name__ == '__main__':
    sys.exit(__main__._main())