VBA利用XMLHTTP抓取百度查询关键词结果的个数

xylloyd 2020-08-08

展开全文

大家好,我们今日讲解'利用XMLHTTP抓取百度查询关键词结果的个数'，这节内容是'VBA信息获取与处理'教程中第六个专题'VBA中利用XMLHTTP完成网抓数据'的第二节。

第二节利用XMLHTTP抓取百度查询关键词结果的个数

在上一讲中我们讲解了一些常用的概念，以及XMLHTTP在应用时常用的一些属性和方法，从这一讲开始，我们开始逐渐学习利用XMLHTTP的这些属性和方法来抓取网络的数据。

我们这讲要实现的目的：在一个EXCEL页面中有若干个关键词，我们要利用搜索引擎在网络中进行搜索，然后把搜索到的结果进行反馈。如下图：

1 应用XMLHTTP实现反馈搜索结果的思路分析

为了实现上述的目的，我们要首先建立一个引用，引用一下XMLHTTP；然后利用XMLHTTP的方法实现相应关键字的查询，所以利用+关键字的搜索。这里将利用XMLHTTP的open方法。

对于返回的结果是XMLHTTP的responseText属性，在上一讲的讲解中我们讲过XMLHTTP的responseText属性结果返回为字符串。

我们要在这个字符串中提取出我们要结果。我们可以先看看在一个实际的网页中查询的结果的responseText字符串：

关于上述字符串的解释我将在下个专题给大家讲解。

最后我们将利用数组函数在上面的字符串中分解出查询的结果。利用的数组函数是Split。

2 应用XMLHTTP实现反馈搜索结果的代码实现

下面我们看看VBA代码是如何实现上述思路的：

Sub myNZ() 'VBA抓取百度查询关键词结果的个数

Dim objXMLHTTP As Object

Sheets('SHEET1').Select

i = 2

Do While Cells(i, 1) <> ''

UU = Cells(i, 1).Value

'XmlHttp是可以在脚本语言中通过http协议传送或从接收XML及其他数据的一套API。

'XmlHttp最大的用处是可以更新网页的部分内容而不需要刷新整个页面。

Set objXMLHTTP = CreateObject('MSXML2.XMLHTTP')

With objXMLHTTP

strURL = 'https://www.baidu.com/s?wd=' & UU

'创建一个新的http请求，并指定此请求的方法、URL以及验证信息(用户名/密码)

.Open 'GET', strURL, False

'发送请求到http服务器并接收回应

.send

'responseText 属性是将响应信息作为字符串返回.只读

strJG = .responseText

End With

Cells(i, 2) = '百度 ' & UU & ' 结果个数为：'

Cells(i, 3) = Split(Split(strJG, '百度为您找到相关结果')(1), '<')(0)

Set objXMLHTTP = Nothing

i = i + 1

Loop

MsgBox 'OK!'

End Sub

上述代码实现我们的思路，这也是一段非常实用的代码，希望大家能利用。

代码的讲解：

1）UU = Cells(i, 1).Value 是对搜索关键字的提取

2）Set objXMLHTTP = CreateObject('MSXML2.XMLHTTP') 建立一个对象，并将这个对象赋值为建立起来的XMLHTTP对象。

3）strURL = 'https://www.baidu.com/s?wd=' & UU 建立一个字符串，用于我们发送http请求的地址。

4）.Open 'GET', strURL, False '创建一个新的http请求，并指定此请求的方法、URL以及验证信息(用户名/密码) 在这句代码中利用的GET方法，还有一种方法是POST,这两种方法有什么区别呢？这个问题我们会在后续的讲解中提到。

5）.send 是发送请求到http服务器并接收回应

6） strJG = .responseText 用字符串接受返回结果.responseText。

7） Cells(i, 3) = Split(Split(strJG, '百度为您找到相关结果')(1), '<')(0) 这句代码是利用Split(Split(strJG, '百度为您找到相关结果')(1), '<')(0) 来返回搜索返回的条目数，这段代码可以仔细理解一下，如果不是很清楚Split的作用大家可以参考我的第三套教程《VBA数组与字典解决方案》

8）Set objXMLHTTP = Nothing 清空内存

代码截图：

3 应用XMLHTTP实现反馈搜索结果

通过上面的代码过程，我们看看反馈的结果：

从上面的结果中，我的各套教程是非常受欢迎的，哈哈。

本节知识点回向：如何利用XMLHTTP的属性和方法反馈网页中的关键词的搜索结果呢？

本讲参考程序文件：006工作表.XLSM

VBA是利用Office实现自己小型办公自动化的有效手段，这是我对VBA的应用界定。在取代OFFICE新的办公软件没有到来之前，谁能在数据处理方面做到极致，谁就是王者。其中登峰至极的技能非VBA莫属！学习VBA是个过程，也需要经历一种枯燥的感觉，如太白诗云：众鸟高飞尽，孤云独去闲。相看两不厌，只有敬亭山。

'水善利万物而不争'，绵绵密密，微则无声，巨则汹涌。学习亦如此，知道什么是自己所需要的，不要蜷缩在一小块自认为天堂的世界里，待到暮年时再去做自欺欺人的言论。要努力提高自己，用一颗充满生机的心灵，把握现在，这才是进取。越是有意义的事情，困难会越多。愿力决定始终，智慧决定成败。不管遇到什么，都是风景。看淡纷争，看轻得失。茶，满也好，少也好，不要计较；浓也好，淡也好，其中自有值得品的味道。去感悟真实的时间，静下心，多学习，积累福报。而不是天天混日子，也不是天天熬日子。在后疫情更加严峻的存量残杀世界中，为自己的生存进行知识的储备，特别是新知识的储备。学习时微而无声，利用时则巨则汹涌。

我记得20年前自己初学VBA时，那时的资料甚少，只能看源码自己琢磨,真的很难。20年过去了，为了不让学习VBA的朋友重复我之前的经历，我根据自己多年VBA实际利用经验，推出了六部VBA专门教程。

第一套：VBA代码解决方案 是VBA中各个知识点的讲解，覆盖绝大多数的VBA知识点，初学必备；

第二套：VBA数据库解决方案 数据库是数据处理的专业利器，教程中详细介绍了利用ADO连接ACCDB和EXCEL的方法和实例操作，适合中级人员的学习。

第三套：VBA数组与字典解决方案 数组和字典是VBA的精华，字典是VBA代码水平提高的有效手段，值得深入的学习，是初级及中级人员代码精进的手段。

第四套：VBA代码解决方案之视频 是专门面向初学者的视频讲解，可以快速入门，更快的掌握这门技能。

第五套：VBA中类的解读和利用这是一部高级教程，讲解类的虚无与肉身的度化，类的利用虽然较少，但仔细的学习可以促进自己VBA理论的提高。

第六套教程：《VBA信息获取与处理》，这是一部高级教程，涉及范围更广，实用性更强，面向中高级人员。教程共二十个专题，包括：跨应用程序信息获得、随机信息的利用、电子邮件的发送、VBA互联网数据抓取、VBA延时操作，剪切板应用、Split函数扩展、工作表信息与其他应用交互，FSO对象的利用、工作表及文件夹信息的获取、图形信息的获取以及定制工作表信息函数等等内容。如需要可以可以WeChat: NZ9668

学习的过程也是修心的过程，修一个平静的心。在代码的世界中，心平静了，心情好了，身体自然而然就好。心静则正，内心里没有那么多邪知邪见，也就没有那么多妄想。利人就是利己。这些教程也是为帮助大家起航，助上我自己之力，我的上述教程是我多的经验的传递，大家可以根据以上资料1,3,2,6,5或者是4,3,2,6,5的顺序逐渐深入的逐渐学习。