selenium+python 爬取网络图片(1)

做图像处理的朋友，都时常需要收集整理大量的图像数据集。做科研时有各种现有的标准数据集大家都直接拿来用，但是工程上却经常需要自己收集图片，从网上爬取图片便成了比较常见的任务。为了用Python完成这个任务，需要解决如下两个问题：

1. 图片素材源自哪里呢？第一直觉就是搜索引擎里的图片，比如要收集手机的图片，则进入搜索引擎搜索关键字即可得到大量相关图片。

2. 动态网站的内容往往是通过ajax异步加载，直接用python中urllib库read到的内容不完整，且需要的内容基本都是异步加载进来的，直接获取不到。当然，有些任务可能只需处理些静态网页，但不幸的是，现在动态网页基本是主流，且我们爬图片的网站图片基本都是ajax加载的。所以如何解决爬取动态网站的问题呢？回答是采用selenium库模拟浏览器打开网页加载完全后再处理。这个解决方案可以参考博文，该文总结了4中方案，其中使用selenium比较适合这个任务。

本篇文章给出基于soso搜索引擎的图片爬虫程序，对google和360的好搜方式相同。但是爬百度的稍微麻烦点，参见另一篇博文《selenium+python 爬取网络图片(2) -- 百度》。

首先，进入soso搜索，输入查询词“手机”，出现大量手机图片，如图

上图中网址栏的地址就是待爬取网页的url，然后给出python结合selenium爬取图片的代码如下

[python] view plain copy

1. from selenium import webdriver  
2. import time  
3. import urllib  
4.   
5. # 爬取页面地址  
6. url = 'http://pic.sogou.com/pics?query=%CA%D6%BB%FA&w=05009900&p=40030500&_asf=pic.sogou.com&_ast=1422627003&sc=index&sut=1376&sst0=1422627002578'  
7.   
8. # 目标元素的xpath  
9. xpath = '//div[@id="imgid"]/ul/li/a/img'  
10.   
11. # 启动Firefox浏览器  
12. driver = webdriver.Firefox()  
13.   
14. # 最大化窗口，因为每一次爬取只能看到视窗内的图片  
15. driver.maximize_window()  
16.   
17. # 记录下载过的图片地址，避免重复下载  
18. img_url_dic = {}  
19.   
20. # 浏览器打开爬取页面  
21. driver.get(url)  
22.   
23. # 模拟滚动窗口以浏览下载更多图片  
24. pos = 0  
25. m = 0 # 图片编号  
26. for i in range(10):  
27.     pos += i*500 # 每次下滚500  
28.     js = "document.documentElement.scrollTop=%d" % pos  
29.     driver.execute_script(js)  
30.     time.sleep(1)     
31.       
32.     for element in driver.find_elements_by_xpath(xpath):  
33.         img_url = element.get_attribute('src')  
34.         # 保存图片到指定路径  
35.         if img_url != None and not img_url_dic.has_key(img_url):  
36.             img_url_dic[img_url] = ''  
37.             m += 1  
38.             ext = img_url.split('.')[-1]  
39.             filename = str(m) + '.' + ext  
40.             #保存图片数据  
41.             data = urllib.urlopen(img_url).read()  
42.             f = open('./yourfolder/' + filename, 'wb')  
43.             f.write(data)  
44.             f.close()  
45. driver.close()  

上面的代码只下载了第一页，selenium还可以模拟点击网页触发加载更多图片。此外，保存图像的代码段也可以简化成一句

[python] view plain copy

1. urllib.urlretrieve(img_url, './yourfolder/%s' % filename)  

最后，爬取出来的图片如下图所示，下一篇介绍如何爬取百度图片。