在安装和使用pyspider中遇到的问题与解决

ekylin 2021-12-30

展开全文

在安装和使用pyspider中遇到个问题，网上没找到答案自己解决了，记录一下，希望能给后来采坑者一些帮助。

1.首先安装

pip3 install pyspider # 我同时使用python2和python3,因为我想使用适用于python3的pyspider,因此我用的pip3来安装的

2.执行看是否成功

在命令行中输入:pyspider

3.报错：

详细报错信息是下面这样的:

C:\Users\username>pyspiderc:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\libs\utils.py:196: FutureWarning: timeout is not supported on your platform.warnings.warn("timeout is not supported on your platform.", FutureWarning)phantomjs fetcher running on port 25555[I 190330 14:42:22 result_worker:49] result_worker starting...[I 190330 14:42:22 processor:211] processor starting...[I 190330 14:42:22 scheduler:647] scheduler starting...[I 190330 14:42:22 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0[I 190330 14:42:24 scheduler:782] scheduler.xmlrpc listening on 127.0.0.1:23333[I 190330 14:42:24 tornado_fetcher:638] fetcher starting...[I 190330 14:42:25 run:420] phantomjs exited.[I 190330 14:42:25 app:84] webui exiting...[I 190330 14:42:25 tornado_fetcher:671] fetcher exiting...[I 190330 14:42:25 scheduler:663] scheduler exiting...[I 190330 14:42:25 processor:229] processor exiting...[I 190330 14:42:26 result_worker:66] result_worker exiting...Traceback (most recent call last):File "c:\users\username\appdata\local\programs\python\python36\lib\runpy.py", line 193, in _run_module_as_main"__main__", mod_spec)File "c:\users\username\appdata\local\programs\python\python36\lib\runpy.py", line 85, in _run_codeexec(code, run_globals)File "C:\Users\username\AppData\Local\Programs\Python\Python36\Scripts\pyspider.exe\__main__.py", line 9, in <module>File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 754, in maincli()File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 722, in __call__return self.main(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 697, in mainrv = self.invoke(ctx)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 1043, in invokereturn Command.invoke(self, ctx)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 895, in invokereturn ctx.invoke(self.callback, **ctx.params)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 535, in invokereturn callback(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\decorators.py", line 17, in new_funcreturn f(get_current_context(), *args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 165, in clictx.invoke(all)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 535, in invokereturn callback(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\decorators.py", line 17, in new_funcreturn f(get_current_context(), *args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 497, in allctx.invoke(webui, **webui_config)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 535, in invokereturn callback(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\decorators.py", line 17, in new_funcreturn f(get_current_context(), *args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 384, in webuiapp.run(host=host, port=port)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\webui\app.py", line 59, in runfrom .webdav import dav_appFile "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\webui\webdav.py", line 216, in <module>dav_app = WsgiDAVApp(config)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\wsgidav\wsgidav_app.py", line 135, in __init___check_config(config)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\wsgidav\wsgidav_app.py", line 119, in _check_configraise ValueError("Invalid configuration:\n  - " + "\n  - ".join(errors))ValueError: Invalid configuration:- Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.