|
是不是很想知道那三步？ 其实很简单！ 1、打开网页，获取源码 2、获取图片 3、保存图片地址与下载图片 打开网页，获取源码 *由于多人同时爬虫某个网站时候，会造成数据冗余，网站崩溃，所以一些网站是禁止爬虫的，会返回403拒绝访问的错误信息。----获取不到想要的内容/请求失败/IP容易被封……..等 *解决办法：伪装——不告诉网站我是一个脚本，告诉它我是一个浏览器。（加上随便一个浏览器的头部信息，伪装成浏览器），由于是简单例子，那我们就不搞这些骚操作了。 获取图片 *Find函数 ：只去找第一个目标，查询一次 *Find_all函数： 找到所有的相同的目标。 这里可能有一个解析器的问题，我们也不说了，出问题的同学百度一堆解决办法。 保存图片地址与下载图片 a.使用urlib---urlretrieve下载（保存位置：如果保存在跟*.py文件同一个地方，那么只需要文件夹名称即可，如果是其他地方，那么得写绝对路径。） 算了，不说那么多废话，既然是个简单例子，那我就直接贴代码吧。相信也没多少人呢看不懂。 提一句：用BeautifulSoup就可以不用正则；爬虫用正则，Bs4, xpath三种 选择一个就好。当然也可以混合使用，也还有其他种。 掌握上面的爬虫三步骤，一些简单的网站都可以直接搞定！
下面用一个小案例吧！ 环境需求：python3x pycharm 模块：urllib 、urllib2、bs4、re 代码：
|
|
|
