大家学习Python的过程中,总会想要一个好用的IDE来帮助提升开发的效率。Python自带的IDLE不太适合,命令行模式对于工程结构不太友好,常用的IDE,如Eclipse(需要PyDev插件),还行。微软的VisualStudio自带Python以及各种框架,配置一下interpreter也可以,Sublime,Atom,Notepad++....反正有很多,你喜欢就可以选哪个。这里主要推荐的是JetBrains出品的PyCharm,它家还有著名的Java开发IDE intelliJ IDEA,,说一下简单的用PyCharm写爬虫(简单的一个例子)
创建一个scrapy的项目:先激活虚拟环境(进入到\venv\Scripts目录下,执行activate),如下(这里venv是创建的虚拟环境) 这个时候,虚拟环境被激活,然后用scrapy命令创建一个爬虫工程:scrapy startproject learn_scrapy (note:这里begin.py不是初始文件,是后面创建的,这个例子来自:http://docs./scrapy/scrapy0.24/intro/tutorial.html) 完成上述的操作之后,就是写一个示例来运行一下,可以参考http://docs./scrapy/scrapy0.24/intro/tutorial.html 这个例子,写一个begin.py在scrapy.cfg的同级目录,再在spider包下面创建一个spider.py的文件。 完成示例代码之后,接着就是运行,这时候需要配置一下运行的环境,选择Run - Edit Configurations...,新建一个python,如下 Python interpreter要选择之前创建的虚拟环境下的 这样就可以开始执行了 |
|