分享

Kettle进阶之一 通过接口API链接取到本地数据库

 小雪初晴i 2022-11-30 发布于河北

有时候,一般并不是本地数据取数到本地,客户一般是链接形式给我们,从链接API接口取数到我们数仓(数据库),

以下讲解实战操作

操作步骤

1、运行软件,进入主界面。点击左上角的 文件 → 新建 → 转换新建一个转换,并保存,转换的后缀名为ktr。

2、点击面板左侧的 主对象树 ,选择 DB连接 右键,选择 新建 或 新建数据库连接向导 分别创建对数据库A和数据库B的连接。

注意: 如果在点击测试连接时出现下图所示错误,检查我们的安装目录下的lib中是否有对应数据库连接的jar包文件(如mysql的jar文件:mysql-connector-java-5.1.6-bin.jar),下载对应的jar,放到lib文件夹下,重启kettle软件,即可。

点击面板左侧的 核心对象 ,选择 输入文件夹下的 表输入 并把它拖到右侧的编辑区中

3. 首先会有客户的一个API文档说明(客户不同,内容不同,大致相同)

4、将链接复制到浏览器,会得到一堆JSON值以及参数

5、客户链接一般不止一个,为了方便取数,我们将URL地址全部手动维护到需要转入的(数仓)数据库,

6、双击表输入,输入SQL查询第一个URL地址,必须点击预览,否则后面会没有数据

7、拉入一个HTTP client,目的1:取我们手工维护URL表的URL字段(我的是字段叫URL)。2:获取链接地址的返回结果字段(result)

8、双击HTP client,选择从字段中获取URL,URL字段名这个东西就是图7 说明的 你手工维护表字段名。下面的j结果字段名就是客户所给的信息里面的result请求结果参数,Fields不用填

 9、这个字段意思是编码格式,如果客户数据库编码GBK,你的是UTF8,如果这里不改,内容会乱码

10、开始获取链接地址里面的字段

11、双击JSON Input,填写内容=文件:源定义在一个字段里✔。从字段获取源:result。如果之前内容合适,下拉会自动展现

11.1 开始输入字段参数,继续选择字段,里面有名称为API里面的字段名,路径固定格式$.data.[*].字段名

(说明:data为返回参数,客户提供,一般就是data,[*]意思就是里面内容比较对,我们以数组方式获取,如果没有可以不选)

12、根据我的图顺序走,数据库连接>>目标表(意思就是数据要引入到哪个表,表点击下面sql自动创建)>>获取字段(会通过JSON input获取到字段,然后调试左边不需要的字段)>>一定要运行sql(可以删除创建引入表所需要的东西)

13、点击sql>>执行>>关闭

14、到这里,我们从API取数已经建立完成了,点击“校验这个转换”,Kettle会校验并给出简单的报告。没有任何问题。

16、点击“运行这个转换”,选择“本地执行”,点击“启动”来执行这个转换。

17、转换成功后,我们可以在控制台中看到如下信息。检查本地数据库,接口的数据是否在我们本地数据库

至此,Kettle的API接口取数就基本完成了


    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多