|
大家好,我们今日讲解'VBA利用XMLHTTP抓取抓取和讯网在售理财项目的数据'，这节内容是'VBA信息获取与处理'教程中第六个专题'VBA中利用XMLHTTP完成网抓数据'的第五节。 第五节 利用XMLHTTP抓取和讯网在售理财项目的数据大家好，我们继续讲解利用XMLHTTP抓取网络数据的问题，我的讲解力争紧扣我们工作中遇到的实际问题，让大家可以在工作中利用我的教程中的代码，只要稍微修正，就可以为自己所用，这也是我一直以来倡导的积木编程思想。不仅可以大大提高自己的工作效率，而且对于一些难懂的代码可以进行有选择的学习。我们这讲将给大家讲解如何抓取和讯网在售理财项目的数据。 实现的场景：在上网的时候我们会看到如下的网页：  现在要想实现的是把上述数据从网页抓取到EXCEL工作表中。这讲的内容是非常实用的。希望大家在理解的基础上能加以利用。 1 应用XMLHTTP实现抓取理财产品的思路分析为了得到上面的数据，我们先获得这个网页的网址，然后引用XMLHTTP，用OPEN语句链接网址，发送请求后，处理返回的responseText。 最后处理responseText是最为复杂的工作，需要对网页的源码进行分析,在源码的字符间提取我们需要的数据，主要利用的是SPLIT函数，用这个函数来获取我们需要的数据部分。这个函数返回的是一维数组，如果大家对这个函数要深入的了解，可以参考我的第三部教程《VBA数组与字典解决方案》，在大量的数据处理中这个函数起了非常重要的作用。如何实现数据的提取，要对源数据进行仔细的分析：例如上面的网页截图源码如下：  我们注意到，数据都是以name='proTest' 和value=' 等字符分隔，这样我们在后期处理的时候可以利用。 2 应用XMLHTTP实现抓取理财产品的代码实现思路有了，下面我们就要用代码来实现上面的思路，先展现给大家代码部分： Sub myNZC() '抓取和讯网在售理财项目的数据 Dim myArr(1 To 1000, 1 To 10) '给出要提取数据的网址 strURL = 'http://data.bank.hexun.com/lccp/jrxp.aspx' Sheets('SHEET4').Select '建立引用 With CreateObject('MSXML2.XMLHTTP') .Open 'GET', strURL, False .send '提取responseText属性 strText = .responseText 'Cells(24, 1) = strText '数据的测试 End With '在strText中提取有用的数据 myArrC = Array(, , 9, 12, 14, 16, 18, 20, 22, 24, 26) myArrR = Split(strText, 'name='proTest' ') For i = 1 To UBound(myArrR) UU = Split(myArrR(i), '>') n = n 1 myArr(n, 1) = Split(Split(UU(0), 'value='')(1), ''')(0) For j = 2 To 10 myArr(n, j) = Split(UU(myArrC(j)), '<')(0) Next Next '数据的回填 Cells.ClearContents Range('a1:j1').Value = Split('产品名称 是否在售 银行 起售日 停售日 币种 管理期(月) 产品类型 预期收益(%) 收益类型', ' ') Range('a2').Resize(n, 10).Value = myArr End Sub 代码截图：  代码的讲解： 1） strURL = '给出要提取数据的网址 2） With CreateObject('MSXML2.XMLHTTP') .Open 'GET', strURL, False .send '提取responseText属性 strText = .responseText 上述代码建立引用，发送请求后返回responseText 。 3） myArrC = Array(, , 9, 12, 14, 16, 18, 20, 22, 24, 26) myArrR = Split(strText, 'name='proTest' ') For i = 1 To UBound(myArrR) UU = Split(myArrR(i), '>') n = n 1 myArr(n, 1) = Split(Split(UU(0), 'value='')(1), ''')(0) For j = 2 To 10 myArr(n, j) = Split(UU(myArrC(j)), '<')(0) Next Next 上述代码是对responseText的处理，通过几次分解最后得出我们想要的数据，大家可以对照我上面给出的截图分析上述数据处理的过程，没有什么难度，这里不再详细的讲解。 4） Range('a2').Resize(n, 10).Value = myArr 是数据的回填过程 3 应用XMLHTTP实现抓取理财产品的实现效果我们点击'sheet4'工作表的运行按钮可以得到下面的运行结果：  抓取的是2020年6月2日的数据，是我测试的最新数据，剩下的工作就是我们在EXCEL工作表中进行数据的汇总了。 上述的整个过程完成了我们的场景设计。 本节知识点回向： 提取网页数据的步骤大家是否有了清晰的认识？你认为最关键的步骤是什么？ 本讲参考程序文件：006工作表.XLSM  积木编程的思路内涵：在我的系列书籍中一直在强调'搭积木'的编程思路，这也是学习利用VBA的主要方法，特别是职场人员，更是要采用这种方案。其主要的内涵： 1 代码不要自己全部的录入。你要做的是把积木放在合适的位置然后去修正代码，一定要拷贝，从你的积木库中去拷贝，然后修正代码，把时间利用到高效的思考上。 2 建立自己的'积木库'。平时在学习过程中，把自己认为有用的代码放在一起，多积累，在用到的时候，可以随时拿来。你的积木库资料越多，你做程序的思路就会越广。 VBA的应用界定VBA是利用Office实现个人小型办公自动化的有效手段（工具）。这是我对VBA的应用界定。在取代OFFICE新的办公软件没有到来之前，谁能在数据处理方面做到极致，谁就是王者。其中登峰至极的技能非VBA莫属！ 我记得20年前自己初学VBA时，那时的资料甚少，只能看源码自己琢磨,真的很难。20年过去了，为了不让学习VBA的朋友重复我之前的经历，我根据自己多年VBA实际利用经验，推出了六部VBA专门教程： 第一套：VBA代码解决方案 是VBA中各个知识点的讲解，教程共147讲，覆盖绝大多数的VBA知识点，初学必备； 第二套：VBA数据库解决方案 数据库是数据处理的专业利器，教程中详细介绍了利用ADO连接ACCDB和EXCEL的方法和实例操作，适合中级人员的学习。 第三套：VBA数组与字典解决方案 数组和字典是VBA的精华，字典是VBA代码水平提高的有效手段，值得深入的学习，是初级及中级人员代码精进的手段。 第四套：VBA代码解决方案之视频 是专门面向初学者的视频讲解，可以快速入门，更快的掌握这门技能。这套教程是第一套教程的视频讲解，听元音更易接受。 第五套：VBA中类的解读和利用 这是一部高级教程，讲解类的虚无与肉身的度化，类的利用虽然较少，但仔细的学习可以促进自己VBA理论的提高。这套教程的领会主要是读者的领悟了，领悟一种佛学的哲理。 第六套教程：《VBA信息获取与处理》，这是一部高级教程，涉及范围更广，实用性更强，面向中高级人员。教程共二十个专题，包括：跨应用程序信息获得、随机信息的利用、电子邮件的发送、VBA互联网数据抓取、VBA延时操作，剪切板应用、Split函数扩展、工作表信息与其他应用交互，FSO对象的利用、工作表及文件夹信息的获取、图形信息的获取以及定制工作表信息函数等等内容。 大家可以根据以上资料1→3→2→6→5或者是4→3→2→6→5的顺序逐渐深入的逐渐学习。教程提供讲解的同时提供了大量的积木，如需要可以WeChat: NZ9668  学习VBA是个过程，也需要经历一种枯燥的感觉如太白诗云：众鸟高飞尽，孤云独去闲。相看两不厌，只有敬亭山。学习的过程也是修心的过程，修一个平静的心。在代码的世界中，心平静了，心情好了，身体自然而然就好。心静则正，内心里没有那么多邪知邪见，也就没有那么多妄想。利人就是利己。这些教程也是为帮助大家起航，助上我自己之力，我的上述教程是我多的经验的传递， '水善利万物而不争'，绵绵密密，微则无声，巨则汹涌。学习亦如此，知道什么是自己所需要的，不要蜷缩在一小块自认为天堂的世界里，待到暮年时再去做自欺欺人的言论。要努力提高自己，用一颗充满生机的心灵，把握现在，这才是进取。越是有意义的事情，困难会越多。愿力决定始终，智慧决定成败。不管遇到什么，都是风景。看淡纷争，看轻得失。茶，满也好，少也好，不要计较；浓也好，淡也好，其中自有值得品的味道。去感悟真实的时间，静下心，多学习，积累福报。而不是天天混日子，也不是天天熬日子。在后疫情更加严峻的存量残杀世界中，为自己的生存进行知识的储备，特别是新知识的储备。学习时微而无声，利用时则巨则汹涌。 每一分收获都是成长的记录，怎无凭，正是这种执着，成就了朝霞的灿烂。最后将一阙词送给致力于VBA学习的朋友,让大家感受一下学习过程的枯燥与执着： 浮云掠过，暗语无声， 唯有清风，惊了梦中啼莺。 望星，疏移北斗， 奈将往事雁同行。 阡陌人，昏灯明暗， 忍顾长亭。 多少VBA人， 暗夜中，悄声寻梦，盼却天明。 怎无凭！ 回向学习利用VBA的历历往事，不胜感慨，谨以这些文字给大家，分享我多年工作实际经验的成果，随喜这些有用的东西，给确实需要利用VBA的同路人。 分享成果，随喜正能量 |
|
|
