Python3.5

应朋友之约，帮他做个爬虫，并且每个网页的数据都分别导入到excel中。

目标网站：http://www./hs_chapter_01.htm

根据我的观察，网页采取的是<td><th>制成表格来存放数据，属于非常简单的类型。因为Python自带有非常好的网页处理模块，因此前后代码花费时间在30分钟。

网站：

网页源代码：

需要模块：BeautifulSoup、Request、xlwt

废话不多说，直接上代码：

1. from bs4 import BeautifulSoup
2. from urllib import request
3. import xlwt
5. #获取数据
6. value=1
7. while value<=98:
8. value0=str(value)
9. url = 'http://www./hs_chapter_'+value0+'.htm'
10. #url='http://www./hs_chapter_01.htm'
11. '''此行可以自行更换代码用来汇集数据'''
12. response = request.urlopen(url)
13. html = response.read()
14. html = html.decode('utf-8')
15. bs = BeautifulSoup(html,'lxml')
17. #标题处理
18. title = bs.find_all('th')
19. data_list_title=[]
20. for data in title:
21. data_list_title.append(data.text.strip())
23. #内容处理
24. content = bs.find_all('td')
25. data_list_content=[]
26. for data in content:
27. data_list_content.append(data.text.strip())
28. new_list=[data_list_content[i:i+16] for i in range(0,len(data_list_content),16)]
30. #存入excel表格
31. book=xlwt.Workbook()
32. sheet1=book.add_sheet('sheet1',cell_overwrite_ok=True)
34. #标题存入
35. heads=data_list_title[:]
36. ii=0
37. for head in heads:
38. sheet1.write(0,ii,head)
39. ii+=1
40. #print(head)
42. #内容录入
43. i=1
44. for list in new_list:
45. j=0
46. for data in list:
47. sheet1.write(i,j,data)
48. j+=1
49. i+=1
51. #文件保存
52. book.save('sum'+value0+'.xls')
53. value += 1
54. print(value0+'写入完成！')
55. print('全部完成')