利用python抓取页面数据

1、首先是安装python（注意python3.X和python2.X是不兼容的，我们最好用python3.X）

　　安装方法：安装python

2、安装成功后，再进行我们需要的插件安装。（这里我们需要用到requests和pymssql两个插件re是自带的）注：这里我们使用的是sqlserver所以安装的是pymssql，如果使用的是mysql可以参考：安装mysql驱动

　　安装插件的方法为

　　安装pymssql->进入命令行输入命令：pip install pymssql

　　安装requests->进入命令行输入命令：pip install requests

可以通过命令pip list来查看是否安装成功。

　　

3、安装完成后，我们编写代码如下：

import requestsfrom requests.exceptions import RequestExceptionimport reimport pymssql#通过url获得页面内容def get_one_page(url):    try:        response = requests.get(url)
　　　　 #解决乱码问题
　　　　 response.encoding = response.apparent_encoding        if response.status_code == 200:            return response.text        return None    except RequestException:        return None#通过正则表达式抓取我们所需要的页面内容        def parse_one_page(html):    pattern = re.compile('<div class='newBox'>.*?src='(.*?)'.*?<h4>.*?<div class='fp_subtitle'>.*?>(.*?)</a></div>.*?</h4>.*?<p>(.*?)</p>.*?<span>(.*?)</span>.*?<span>(.*?)</span>.*?<span>(.*?)</span>.*?</div>',re.S)    items = re.findall(pattern,html)    return items;#数据库连接def db_conn():    server = '192.168.6.111\mssqlzf'    user = 'sa'    password = 'sa@2016'    database = 'zfnewdb'    return pymssql.connect(server, user, password, database)#定义main()    def main():    conn = db_conn()    url = 'http://www./cxzg80/index.shtml'    html = get_one_page(url)    cursor = conn.cursor()    #将抓取回来的数据循环插入到数据库中，注意：parse_one_page返回的数据类型为    for item in parse_one_page(html):        cursor.execute('INSERT INTO tblGrabNews VALUES (%s,%s,%s,%s,%s,%s)',(item[1], item[2], item[0], item[5], item[3], item[4]))        conn.commit()    conn.close()#执行main()    if __name__ == '__main__':    main()

注意，parse_one_page(html)函数返回的数据类型如下：[(),(),()...],所以上面程序要的for循环才会那么去写，如果不知道什么是list和tuple的同学可以看一下这篇文章list和tuple。

　　

运行上述代码后，可在数据库中看到爬下来的数据。

数据表结构为：

create table [zfnewdb].[dbo].[tblGrabNews] (
　　id int identity (1,1) primary key,
　　title varchar(255),
　　content text,
　　imageInfo text,
　　publicTime varchar(100),
　　sourceInfo varchar(100),
　　responsibleEditer varchar(100)
)

希望能帮助到有需要的人。