|
在weblog里逮到了一些搜索引擎的爬虫：
首先来得最早的是Google的：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 接下来是百度的：Baiduspider+(+http://www.baidu.com/search/spider.htm) 再者就是Sogou的：Sogou Orion spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm# 07) 163有道：Mozilla/5.0 (compatible; YodaoBot/1.0; http://www./help/webmaster/spider/; ) 腾讯Soso的，比较垃圾吧，几个ip同时抓取，快把我服务器整挂了：Sosospider+(+http://help.soso.com/webspider.htm) 雅虎的，来得比较晚：Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 搜狗还有一个？：Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm# 07) |
|
|
