|
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
以下文章来源于青灯编程 ，作者：清风
Python爬虫进阶：反反爬实战案例—爬取梨视频，观看地址：
https://www.bilibili.com/video/BV1mK4y1E75Y/
前言
关于梨视频的爬取，网站上面还是有很多教程文章的，但是之前的那些教程文章统统都不能实现了，因为梨视频网站早就更新了。之前也有很多小伙伴也在问关于该网站的爬取方法。
基本开发环境
相关模块的使用
import requests
import re
import threading
目标网页分析
单个视频地址获取
点击进入第一个视频的详情页，使用开发者工具可以找到相关的视频地址。
https:
链接中的 contId 对应的就是视频的ID
def get_video_url(video_id):
data_url = 'https://www./videoStatus.jsp?contId={}&mrd=0.5606814943122209'.format(video_id)
headers_1 = {
'Referer': 'https://www./video_{}'.format(video_id),
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=data_url, headers=headers_1)
html_data = response.json()
video_url = html_data['videoInfo']['videos']['srcUrl']
suffix = video_url.split('-')[1]
date = video_url.split('/')[-2]
new_url = 'https://video./mp4/adshort/{}/cont-{}-{}-ad_hd.mp4'.format(date, video_id, suffix)
return new_url
注意点：
1、headers 请求头一定要添加 Referer 防盗链 , 不然获取不到数据 。
2、这里获取的视频url地址，并非真实的url地址，复制链接会发现是404
所以需要拼接一下url
获取视频ID
根据数据接口url 可知，只要获取每个视频的ID值，就可以爬取所有的视频了。
这就需要在排行榜列表中查找了。
如上图所示，视频排行榜页面有我们需要的视频ID值，但是这只有一个10个视频地址呀，需要网页往下滑动才可以查看更多的内容。所以老办法，先清空开发者工具里面的数据，然后下滑网页。
于是乎就出现了很多的相关数据。经过分析对比。
可以发现其中是有两个参数发现改变的：
start：等差数列，每次增加10
sort：9、14、21、29、38、46、54、62、69、74 每次变化没有规律
那这样我只能让不规律的哪个参数保持不变，给一个恒定值9，然后根据start的参数给改变，看是否能够获取数据，咱们就以不变应万变。
当URL中 start=0 时
可以看出，最后一个视频是<2020回声：50段现场声音回顾这一年> ，在排行榜当中应该是属于 第9个的位置，但是这里的序号是18.
当URL中 sort=10 时
第一个视频是<被害者家属谈劳荣枝案首日庭审> ，在排行榜当中应该是属于 第10个的位置，刚好是接着上面的视频往下排的。。
当URL中 sort=20 时
同样的是接着排下来的。
所以只需要改变 sort 这个参数即可获取排行榜所有的视频ID以及视频标题。
def get_video_id(page_url):
html_data = get_response(page_url).text
video_ids = re.findall('<a href="video_(\d+)" class="actplay">', html_data)
title = re.findall('<h2 class="popularem-title">(.*?)</h2>', html_data)
video_info = zip(video_ids, title)
for i in video_info:
video_title = i[1]
video_id = i[0]
保存数据
def save(video_url, video_title):
video_content = get_response(video_url).content
filename = 'video\\' + video_title + '.mp4'
with open(filename, mode='wb') as f:
f.write(video_content)
print('正在保存：', video_title)
当保存的时候出现了报错。
因为标题中出现特殊字符，没有办法保存。
之前有说过，当你新建文件的时候，文件命名中出现特殊字符是没有办法命名创建的，所以需要使用正则表达式，替换掉标题中的特殊字符。
def change_title(title):
pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]")
完整实现代码
import requests
import re
import threading
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
def get_response(html_url):
response = requests.get(url=html_url, headers=headers)
return response
def change_title(title):
pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]")
排行榜一共是74条数据。。。。。。
|
