python爬虫基础源代码

1.简单爬取百度网页内容：

爬取百度网页源代码：

import requests
r=requests.get('http://www.baidu.com')
r.status_code
r.encoding
r.encoding=r.apparent_encoding
r.text

结果展示：

2.爬取网页的通用代码框架：（这里继续选用百度网页）

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return '产生异常'
if __name__ =='__main__':
    url='http://www.baidu.com'
    print(getHTMLText(url))

爬取结果展示

3.京东商品页面爬取

京东商品页面爬取

import requests
url='http://item.jd.com/2967929.html'
try:
    r=requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print('爬取失败')

爬取结果展示：

4.亚马逊商品页面的爬取

亚马逊商品爬取源代码

import requests
url='https://www.amazon.cn/gp/product/B01M8L5Z3Y'
try:
    kv={'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[1000:2000])
except:
    print('爬取失败')

结果展示:

5.百度搜索全代码

百度搜索全代码

import requests
keyword='Python'
try:
    kv={'wd':'keyword'}
    r=requests.get('http://www.baidu.com/s',params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print('爬取失败！')

结果展示：

6.360搜索全代码

360搜素全代码

import requests
keyword='Python'
try:
    kv={'q':keyword}
    r=requests.get('http://www.so.com/s',params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print('爬取失败')

结果展示：

7. 图片爬取全代码：

爬取高清图片源代码

import requests
import os
url='http://image./2017/0211/20170211061910157.jpg'
root='D://pics//'
path=root+url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print('文件保存成功')
    else:
        print('文件爬取失败')
except:
    print('爬取失败')

8.用requests库获取源代码：

获取源代码

import requests
r=requests.get('http:///ws/demo.html')
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,'html.parser')
print(soup.prettify())
soup.title

爬取结果显示：