摄影:产品经理 炸河豚 作为一个站长,你是不是对爬虫不胜其烦?爬虫天天来爬,速度又快,频率又高,服务器的大量资源被白白浪费。 看这篇文章的你有福了,我们今天一起来报复一下爬虫,直接把爬虫的服务器给干死机。
很多人的爬虫是使用Requests来写的,如果你阅读过Requests的文档,那么你可能在文档中的Binary Response Content[1]这一小节,看到这样一句话:
网站服务器可能会使用 这个功能原本是一个方便开发者的功能,但我们可以利用这个功能来做报复爬虫的事情。 我们首先写一个客户端,来测试一下返回 我首先在硬盘上创建一个文本文件 然后,我是用 cat text.txt | gzip > data.gz 接下来,我们使用FastAPI写一个HTTP服务器
然后使用命令 接下来,我们使用requests来请求这个接口,会发现返回的数据是乱码,如下图所示: 返回的数据是乱码,这是因为服务器没有告诉客户端,这个数据是 现在,我们稍微修改一下 from fastapi import FastAPI, Response 修改以后,重新启动服务器,再次使用requests请求,发现已经可以正常显示数据了: 这个功能已经展示完了,那么我们怎么利用它呢?这就不得不提到压缩文件的原理了。 文件之所以能压缩,是因为里面有大量重复的元素,这些元素可以通过一种更简单的方式来表示。压缩的算法有很多种,其中最常见的一种方式,我们用一个例子来解释。假设有一个字符串,它长成下面这样:
我们可以用5个字符来表示: 如果我们可以把一个1GB的文件压缩成1MB,那么对服务器来说,仅仅是返回了1MB的二进制数据,不会造成任何影响。但是对客户端或者爬虫来说,它拿到这个1MB的数据以后,就会在内存中把它还原成1GB的内容。这样一瞬间爬虫占用的内存就增大了1GB。如果我们再进一步增大这个原始数据,那么很容易就可以把爬虫所在的服务器内存全部沾满,轻者服务器直接杀死爬虫进程,重则爬虫服务器直接死机。 你别以为这个压缩比听起来很夸张,其实我们使用很简单的一行命令就可以生成这样的压缩文件。 如果你用的是Linux,那么请执行命令: dd if=/dev/zero bs=1M count=1000 | gzip > boom.gz 如果你的电脑是macOS,那么请执行命令:
执行过程如下图所示: 生成的这个 只要大家把命令里面的 我现在把 服务器返回一个10KB的二进制数据,没有任何问题。 现在我们用requests去请求这个接口,然后查看一下 可以看到,由于requests自动会对返回的数据解压缩,因此最终获得的resp对象竟然有10MB这么大。 如果大家想使用这个方法,一定要先确定这个请求是爬虫发的,再使用。否则被你干死的不是爬虫而是真实用户就麻烦了。 本文的写作过程中,参考了文章网站gzip炸弹 – 王春伟的技术博客[2],特别感谢原作者。 参考文献 [1] Binary Response Content: https://2./en/master/user/quickstart/#binary-response-content [2] 网站gzip炸弹 – 王春伟的技术博客: http://da./?p=577 END |
|
来自: Levy_X > 《Python学习资料》