|
青年学记 2019-12-22 11:00:36 在爬虫的爬取过程当中，会出现一些无法直接访问的页面，这些页面一般需要用户登录之后才能获取完整数据，在这种情况下，作为爬虫的使用者就需要面对这个问题。  怎么解决呢? 一般来说，有两种方法： 一、手动输入  二、自动输入  在一些网站当中，我们只需要在一开始登录账号之后，就可以不用再管，像这种网站，就适合手动输入，一次输入，不需要再次调整。 不过，有时爬虫会遇到一些网站，这些网站信息的获取都需要登录之后才能获取，这种情况下就需要使用爬虫设置自动登录了。 那自动登录该怎么设置？ 在设置自动登录之前，需要先获取登录后的 cookie。 什么是 cookie？ cookie就是某些网站为了辨别用户身份，进行Session跟踪而储存在用户本地终端上的数据，由用户客户端计算机暂时或永久保存的信息。 当服务器接收到复数的请求时，是无法判断出哪些请求是由同一个客户端发起的。于是就需要读取cookie来标识客户端的身份，以存储它的信息，比如登录状态等。cookie 保存在发起请求的客户端中，服务器利用cookie来区分不同的客户端。 用通俗的话来讲, cookie 就是网站验证用户的一张身份证。用户持有的这张身份证在登录时供访问网站查看。 为了实现自动登录的目的，我们就需要获取登录时的 cookie 进行解析。 如何获取 cookie ？ 在访问被爬取网站时，先使用浏览器登录。再打开开发者工具，转到network选项卡。在左边的Name一栏找到当前的网址，选择右边的Headers选项卡，查看Request Headers，这里包含了该网站颁发给浏览器的cookie。  就像上图中 cookie ，后面有我们登录时用的 ID 信息，和各种我们自动登录时所用的信息。 得到 cookie 之后，就可以进行进一步处理，将 cookie 中的信息处理成字符串，供下一步处理。代码如下： import requests import sys import io sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码 #登录后才能访问的网页 url = 'http:///cmstar/index.portal' #浏览器登录后得到的cookie，也就是刚才复制的字符串 cookie_str = r'JSESSIONID=xxxxxxxxxxxxxxxxxxxxxx; iPlanetDirectoryPro=xxxxxxxxxxxxxxxxxx' #把cookie字符串处理成字典，以便接下来使用 cookies = {} for line in cookie_str.split(';'): key, value = line.split('=', 1) cookies[key] = value #设置请求头 headers = {'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'} #在发送get请求时带上请求头和cookies resp = requests.get(url, headers = headers, cookies = cookies) print(resp.content.decode('utf-8')) 在设置好之后，就可以进行下一步。 用session保持登录状态 session 在计算机中，尤其是在网络应用中，被称为“会话控制”。Session对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的Web页之间跳转时，存储在Session对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。 用通俗的说法就是，session可以用户保持在登录状态，让服务器认为它一直在和客户端对话，从而保证了爬虫在爬取数据的过程中，登录状态的保证。 这一步骤只需要在上述的代码当中添加一段代码即可，代码如下： #登录时需要POST的数据 data = {'Login.Token1':'账号', 'Login.Token2':'密码', 'goto:http':'//x/loginSuccess.portal', 'gotoOnFail:http':'//x/loginFailure.portal'} #设置请求头 headers = {'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'} #登录时表单提交到的地址（用开发者工具可以看到） login_url = 'http://x/userPasswordValidate.portal' #构造Session session = requests.Session() #在session中发送登录请求，此后这个session里就存储了cookie #可以用print(session.cookies.get_dict())查看 resp = session.post(login_url, data) #登录后才能访问的网页 url = 'http://ssfw./cmstar/index.portal' #发送访问请求 resp = session.get(url) print(resp.content.decode('utf-8')) 这样就可以在使用爬虫的过程中，让其自己登录所爬的网站，并获取数据了 |
|
|
