前言今天带大家爬取喜马拉雅音频数据,一起期待吧!! 这个案例的视频地址在这里 https://v.douyu.com/show/a2JEMJj3e3mMNxml 项目目标爬取喜马拉雅音频数据 受害者地址
本文知识点:
环境:
思路:(爬虫案例)
案例思路:
开始写代码先导入所需的模块 import requestsimport parsel # 数据解析模块import re 1.确定数据所在的链接地址(url) 逆向分析 网页性质(静态网页/动态网页) 打开开发者工具,播放一个音频,在Madie里面可以找到一个数据包 复制URL,搜索 找到ID值 继续搜索,找到请求头参数
2.通过代码发送url地址的请求 response = requests.get(url=url, headers=headers)html_data = response.text 3.解析数据(要的, 筛选不要的) 解析音频的 id值
4.数据持久化(保存) with open('video\\' + new_title, mode='wb') as f: f.write(m4a_data) print('保存完成:', title) 最后还要处理文件名非法字符
完整代码import reimport requestsimport parsel # 数据解析模块def change_title(title): '''处理文件名非法字符的方法''' pattern = re.compile(r'[\/\\\:\*\?\'\<\>\|]') # '/ \ : * ? ' < > |' new_title = re.sub(pattern, '_', title) # 替换为下划线 return new_titlefor page in range(13, 33): print('---------------正在爬取第{}页的数据----------------'.format(page)) # 1.确定数据所在的链接地址(url) 逆向分析 网页性质(静态网页/动态网页) url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page) headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'} # 2.通过代码发送url地址的请求 response = requests.get(url=url, headers=headers) html_data = response.text # print(html_data) # 3.解析数据(要的, 筛选不要的) 解析音频的 id值 selector = parsel.Selector(html_data) lis = selector.xpath('//div[@class='sound-list _is']/ul/li') for li in lis: try: title = li.xpath('.//a/@title').get() + '.m4a' href = li.xpath('.//a/@href').get() # print(title, href) m4a_id = href.split('/')[-1] # print(href, m4a_id) # 发送指定id值json数据请求(src) json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id) json_data = requests.get(url=json_url, headers=headers).json() # print(json_data) # 提取音频地址 m4a_url = json_data['data']['src'] # print(m4a_url) # 请求音频数据 m4a_data = requests.get(url=m4a_url, headers=headers).content new_title = change_title(title) # print(new_title) # 4.数据持久化(保存) with open('video\\' + new_title, mode='wb') as f: f.write(m4a_data) print('保存完成:', title) except: pass 运行代码,效果如下图 完整代码后台私信小编01即可 |
|