【原】锲而不舍，爬虫的魂

大邓的Python 2021-02-23

展开全文

写爬虫经常被封锁，常用的策略有伪装成浏览器，降低访问频率，还有一个是修正一下重新爬。关于代理IP不在本文范畴，我们只需要够用的数据即可，一般一个IP，一台机器慢慢的爬就可以了。

分别看看这几个策略的实现方式：

伪装成浏览器

这是最简单的方式之一，打开开发者工具(F12键)，刷新网页。找到骑牛中的headers和cookies参数

import requests

def scraper(url):
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}

    cookies = {'Cookie':'你的cookies'}
    
    resp = requests.get(url,headers,cookies)
    """省略。。。解析网页"""
    """省略。。。保存数据"""
 
   
#待爬urls
urls = [...]

for url in urls:
    scraper(url)

降低访问频率

只是模仿成浏览器，网站仍然会封锁你的爬虫。因为咱们的爬虫访问实在是太快了，人家网站服务器hold不住人民群众的爬虫。所以为了不被封锁，可再加上降低访问频率策略。

import requests
import time

def scraper(url):
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}

    cookies = {'Cookie':'你的cookies'}
    
    resp = requests.get(url,headers,cookies)
    """省略。。。解析网页"""
    """省略。。。保存数据"""
    

#待爬urls
urls = [...]
for url in urls:
    scraper(url)
    time.sleep(1)

三、锲而不舍slow but steady的精神。

很多网站往往不会封锁你的IP，但是访问受限。比如访问十次该网址，就会封锁你，导致程序报错。我们过断时间咱们重新运行程序，又可以爬数据。

为了减少麻烦，我们可以设置的策略：

当我们知道自己的爬虫被封锁后，降低访问频率，但是还是要一直发送请求。锲而不舍，直到又可以爬。坚持就是胜利。

import requests
import time

def scraper(url):
    headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}

    cookies = {'Cookie':'你的cookies'}
    
    resp = requests.get(url,headers,cookies)
    """省略。。。解析网页"""
    """省略。。。保存数据"""
   

#拥有锲而不舍精神的爬虫（slow but steady）
def scraper_with_perseverance(url):
    Flag = True
    while Flag:
        try:
            #正常爬取，爬取成功后退出循环
            scraper(url)
            Flag = False
        except:
            #被网站封锁后，降低访问频率，但仍坚持重复访问，
            #直到爬取到该url的数据，退出本url的爬虫
            Flag = True
            time.sleep(5)
#待爬urls
urls = [...]

for url in urls:
    scraper_with_perseverance(url)
    time.sleep(1)

记住锲而不舍，像乌龟学习。只要让爬虫拥有了中华民族的传统美德，一般情况下数据都能拿到。

tips

如果爬的还是太多，建议使用代理IP，但是代理IP对于初学者有点难度。如果能对小白友好的方式愉悦的上网和更改IP，还能畅游海内外网站，而且又能接受付点费用这点小代价，那么可以采纳大邓的tips。网址在下面的图片中，可手动敲入该网址。

历史文章：

转藏分享

QQ空间 QQ好友新浪微博微信

献花（0） +1

来自：大邓的Python > 《待分类》

举报/认领

【原】锲而不舍，爬虫的魂

伪装成浏览器

降低访问频率

三、锲而不舍slow but steady的精神。

tips

历史文章：

数据采集

文本处理分析

图片数据处理

其他