python批量爬取图片并保存在本地文件夹下
本人目前是山西农业大学软件学院大三的一名学生，由于疫情严重，积极响应党和国家的号召宅在家中，今日闲来无事，就对学院的官网下手啦，将官网上介绍学院的老师的照片全部爬取下来，留作毕业后自己慢慢怀念吧，话不多说，进入正题，开搞！
- 导入的包
我们一共需要使用到四个包
time包，用来设置间隔时间，防止把网页爬崩（要是真的爬崩了我估计要倒大霉喽）
requess包，当然是用来获取网页的源代码和处理相应的啦
BeautifulSoup包，用来对网页内容进行准确的抓取，具体的使用方法以后我会写道
os包，文件处理最重要最常用的包，用来创建文件名等
import time
import requests
from bs4 import BeautifulSoup
import os
2.抓取网页的源代
啥也不用说，直接上代码，增加了容错的机制，很好理解的，一看就懂
#封装方法用来爬取网页的源代码
def getHTML(url):
try:
r = requests.get(url,timeout = 30,headers = hd)
r.raise_for_status() #容错机制，若请求访问失败则返回的不是200，则返回字符串空
r.encoding = r.apparent_encoding #设置编码方式，用解析返回网页源码得出的编码方式代替 UTF-8
return r.text
except:
return ''
其中需要说明的就是更改requests请求的头部，虽然官网对爬虫没有任何限制，处于习惯，还是更改一下头部更好啦
hd = {'user-agent':'chorme/10'}
#更改requests请求的头信息，用来防止网页的反爬虫，也可来伪装自己访问网页的信息，这里用最简单的chorm（浏览器）版本10代替
3.对网页进行解析，从中获取自己想要的图片链接
查看网页的源码，来看爬取图片的所在的标签，上图说话
可以直观的看出，自己想要爬取的图片的相关信息都在img标签当中，所以接下来就把所有的img标签爬取，并对其进行分析即可，但是观察发现，不知道问什么，每一张图片的img标签竟然不同，不可以使用正则表达式，而且最气人的是，有的图片有直接在属性中给出相应的下载链接，但有的没有，只能自己拼接，哎，只能使用基本的方法喽，上代码!
url = 'http://soft./info/1013/2388.htm' #爬取网页的url
picture = 'http://211.82.8.2:8080/system/_owners/soft/_webprj/' #设置下载图片的头部，根据网页源码得出，并不是每一个img标签都有相对应的图片下载链接，但都有相应的src，这里为最后的保存图片做准备
text = getHTML(url)
soup = BeautifulSoup(text,'html.parser')
a = soup.find_all('img') #直接找出所有的img标签，观察发现每个图片的img标签并不一样，不能用正则表达式来统一查找
urlInfo = [] #用来保存每一个图片拼接好的下载链接
for tag in a:
new_url = tag.attrs['src'] #得到img属性当中的src
urlInfo.append(picture+new_url.split('/',2)[-1]) #通过spilt函数剪切src并于之前的图片头部进行拼接，得到每个图片的下载地址
每行代码后都有详细的注释哟，拼接这个下载链接真的让我废了功夫，体现出一个初学者的心酸。。。
4.保存下载的图片
先上代码再说话！
#保存图片，思路：将所有的图片保存在本地的一个文件夹下，用图片的url链接的后缀名来命名
dir_name = 'teacherImage' #设置文件夹的名字
if not os.path.exists(dir_name): #os模块判断并创建
os.mkdir(dir_name)
for img_url in urlInfo:
time.sleep(1) #设置间隔时间，防止把网页爬崩
picture_name = img_url.split('/')[-1] #提取图片url后缀
reponse = requests.get(img_url)
with open(dir_name+'/'+picture_name,'wb') as f:
f.write(reponse.content)
主要使用os模块，简单明了快捷，大体推荐，哈哈哈哈哈哈哈
5.出结果
一套武功耍下来，就会出现以下的结果，当然成功啦！
这些照片将来都是满满大学的怀念呀！
|
