|
前面我们已经了解了一些爬虫的基本知识 为什么说是基本知识，因为这两天我一直在查找资料，在阅读资料的过程中发现python的知识体系真的很庞大，单单是爬虫，都已经有很多的知识了，比如说，除了urllib2库之外，我们还可以使用其他的库函数来编写爬虫，在分析网页源码或者分析其他流程的时候，我们又可以使用其他的方法和框架来使我们的爬虫更加强大，另外，为了提高效率，我们还可以加入多线程或者是采用分布式等等，如果有机会，我将会在后面和大家一起学习 至于我为什么要查这些资料，这就要牵扯到我们下一个将要讨论的内容：爬虫模拟登陆 在现实生活中，我们会碰到这样一些网站，比如百度贴吧，你只有登陆百度贴吧之后才能发帖，评论，签到等等，所以，模拟登陆是能实现这些功能的首要因素 但是我又发现，即使是经过前面两个实例的积累，我还是不知道怎么写一个模拟登陆的爬虫，所以我还是得上网找资料，为了避免盲目的查找，我给自己列举出了几个问题 1. 网站登陆的流程是什么 2. 爬虫怎么模拟网站登陆 3. 模拟网站成功的标志是什么 悲剧的是，经过两天的查找，我还是没有找到我想要的答案，好多资料都是一两年前的，很多代码都不能成功跑起来，又或者是网站经过重新编写，对登陆的限制加强了，或者是牵扯到验证码等信息，总之不能得偿所愿 到目前为止，我还不能找到一个很好的适合做例子的网站，仅仅是有一点眉目，不过还是顺着它慢慢往下走吧 |
|
|
