|
农业部部长韩长赋表示，批发市场猪肉价格已经连续13周小幅下降，实际感觉起来猪肉还是好贵啊，价格真的降了吗？今天就使用excel抓取9000条数据，来实际的看一下猪肉的价格走势，以及最近的猪肉价格 这里我们抓取的数据是一个猪肉的报价网，类型是白条肉，白条猪肉是指仅去除内脏、头、脚等部位后没有经过其他任何加工的猪肉，基本上就相当于猪肉的出厂价了，下面就我们着手抓取数据 一、抓取数据整理格式 如下图我们可以看到，每一页网址的数据几乎都是一样的，只有网址最后的页码是不一样的，所以在这里我们可将网址分为两段，将页码设置为一个变量然后将所有的页码带入即可获得全部的数据，这个就是我们抓取9000多条数据的原理  首先我们点击数据功能组，然后点击获取数据选择自其他源，选择自网站，看到窗口后我们点击高级，将网站分为2部分，将代表页码的数字单独放在一个输入框里，然后我们点击确定，当看到导航器的界面之后，我们选择table0这个表，然后点击转换数据将数加载到powerquery中  紧接着我们需要将数据整理一下，在这里我们需要先把第一行数据删除，然后在为表格添加一个标题，因为在表格中有一些数据是无用的，在这里我们仅仅保留，日期，省份，报价地点以及价格即可将其余的全部删除  随后我们点击视图，然后点击高级编辑器，在let上面加入一行代码：(x as number) as table => 然后将网址中的“1”更改为(Number.ToText(x))随后我们点击确定即可，这样的话我们刚才的操作就被封装为了一个函数，输入页码即可跳转到对应的数据  二、数据抓取 在这里数据一共有304页，我们需要新建列表将这304个带入我们刚才创建的函数中，首先我们新建一个空查询然后在编辑栏中输入={1..304}新建一列表，然后点击转到表，随后我们点击添加列，选择调用自定义函数，将函数设置为table0点击确定，这样的话excel就会开始数据抓取，整个过程大概耗费5分钟左右  |
|
|
