python采集漫客栈所有数据,从此看漫不用money

NeighborMrSun 2023-02-21 发布于湖南

展开全文

前言

大家早好、午好、晚好吖 ❤ ~

环境使用:

Python 3.8
Pycharm

模块使用:

requests >>> pip install requests 数据请求模块
parsel >>> pip install parsel 数据解析模块

基本思路流程: <通用的>

二. 代码实现步骤

获取章节ID/章节名字/漫画名字:
1. 发送请求, 模拟浏览器对于url地址发送请求
  
  请求链接: 漫画目录页url
2. 获取数据, 获取服务器返回响应数据
  
  开发者工具: response
3. 解析数据, 提取我们想要的数据内容
  
  章节ID/章节名字/漫画名字
  - 获取漫画图片链接:
4. 发送请求, 模拟浏览器对于url地址发送请求
  
  请求链接:
  
  image
5. 获取数据, 获取服务器返回响应数据
  
  开发者工具: response
6. 解析数据, 提取我们想要的数据内容
  - 漫画图片链接
7. 保存数据

代码展示

导入模块

# 导入数据请求模块 --> 第三方模块, 需要安装 pip install requests
import requests
# 导入数据解析模块 --> 第三方模块, 需要安装 pip install parsel
import parsel
# 导入文件操作模块 --> 内置模块, 不需要安装
import os

请求链接 <目录页url>

url = 'https://www.******.com/208707/'

伪装模拟

headers = {
    # user-agent 用户代理, 表示浏览器基本身份信息 Chrome 浏览器名字  101.0.0.0 浏览器版本  Windows 电脑系统
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}

发送请求

response = requests.get(url=url, headers=headers)
# 把获取下来html字符串数据内容<response.text>, 转换成可解析对象
selector = parsel.Selector(response.text)  # <Selector xpath=None data='<html>\n  <head>\n    <title>网游之近战法师_网游...'>

提取漫画名字

name = selector.css('.de-info__box .comic-title::text').get()

自动创建文件夹以漫画名字作为文件夹名

file = f'{name}\\'
if not os.path.exists(file):
    os.mkdir(file)

第一次提取所有li标签, 返回是对象, 我不需要提取li标签里的内容

lis = selector.css('.chapter__list .chapter__list-box .chapter__item')

如何一个一个提取列表当中元素? for循环遍历

for li in list(reversed(lis)):
    # 提取章节ID +为什么加的意思
    chapter_id = li.css('a::attr(data-chapterid)').get()
    # 提取章节名字
    chapter_title = li.css('a::text').getall()[-1].strip()

请求链接:

漫画集合链接 --> f'{}' 字符串格式化方法, 相当于, 把chapter_id传入link这段字符串当中

    link = f'https://comic.******.com/chapter/content/v1/?chapter_id={chapter_id}&comic_id=208707&format=1&quality=1&sign=5a5b72c44ad43f6611f1e46dd4d457bf&type=1&uid=61003965'

发送请求

    json_data = requests.get(url=link, headers=headers).json()
    num = 1
    print(chapter_title)

for循环遍历, 一个一个提取列表元素

    for index in json_data['data']['page']:
        # 字典取值
        image = index['image']
        img_content = requests.get(url=image).content
        with open(file + chapter_title + str(num) + '.jpg', mode='wb') as f:
            f.write(img_content)
        num += 1
        print(image)