|
Scrapy我想很多的小伙伴多多少少都有听过这个框架的大名吧！本以为他是最适合的爬虫用的框架，今天看到一篇居然会比Scrapy还吊？简直不敢置信，大家看看，希望给我点建议哈！ 接下来我们在浏览器中打开 http://localhost:8000/，就可以看到 Gerapy 的主界面了：
我们可以点击项目页面的右上角的创建按钮，增加一个可配置化爬虫，接着我们便可以在此处添加提取实体、爬取规则、抽取规则了，例如这里的解析器，我们可以配置解析成为哪个实体，每个字段使用怎样的解析方式，如 XPath 或 CSS 解析器、直接获取属性、直接添加值等多重方式，另外还可以指定处理器进行数据清洗，或直接指定正则表达式进行解析等等，通过这些流程我们可以做到任何字段的解析。
生成代码之后，我们只需要像上述流程一样，把项目进行部署、启动就好了，不需要我们写任何一行代码，即可完成爬虫的编写、部署、控制、监测。 谢谢阅读！！！
|
|
|
