pyspider 安装与问题解决

1. 本机配置

本机使用WIN 10平台进行配置

2. python安装

选择的python版本为3.6.2 am64（注：应用python 3.7.3版本遇到了问题未解决），官网下载安装 ，选择可执行文件安装

3. phantomjs下载

打开plantomjs网址，下载Windows版本，下载完成后进行解压，phantomjs.exe添加python 3.6.2 版本目录下的Scripts文件夹下

4. pyspider 安装

打开cmd，cd 到python 3.6.2 版本 python.exe目录下（只有一个pythonp安装可不关注，如果是多个python版本要cd 到指定版本的Scripts目录下，或调整系统路径的先后顺序）直接输入pip install pyspider

pip install pyspider

如自动安装慢或是不能成功，建议应用镜像来安装，可同时避免一些错误的出现

pip install pyspider -i https://pypi.douban.com/simple

5. 执行与问题处理

在安装完成后直接执行pyspider all启动，

pyspider al

一般会遇到错误，我遇到的错误与警告如下：

（1）TypeError: Can't instantiate abstract class ScriptProvider with abstract methods get_resource_inst

原因：wsgidav版本过高，

解决：执行命令

pip install wsgidav==2.4.1

（2）ImportError: cannot import name 'DispatcherMiddleware'

原因：werkzeug版本过高

解决：执行命令

pip install werkzeug==0.16.1

（3） raise DistributionNotFound(req, requirers)

pkg_resources.DistributionNotFound: The 'Werkzeug>=2.0' distribution was not found and is required by Flask

原因：flask版本过高

解决：执行命令

pip install flask==1.0

（4）警告处理：

c:\users\l\appdata\local\programs\python\python36\lib\site-packages\requests\__init__.py:104:RequestsDependencyWarning: urllib3 (1.26.14) or chardet (5.0.0)/charset_normalizer (2.0.12) doesn't match a supported version!

查了下是因为urllib3或chardet版本过高，与支持的版本不匹配

查看对应 的__init__.py文件内的说明 ：

解决：执行命令

pip install urllib3==1.26.0 -i https://pypi.douban.com/simple
pip install chardet==4.0 -i https://pypi.douban.com/simple

最后再运行pyspider all

成功！

页面查看