| 共 18 篇文章 |
|
Kettle实战100篇 第25篇 作业核心对象设置变量组件。我们在很多场景下都需要用到设置变量组件,比如在分页查询数据时,然后分批次写入数据时,都需要事先定义好变量,一般作为作业中起始组件,设置变量的作业举足轻重,这考验你在一个完成的ETL过程中的逻辑能力,你的ETL是否能正常完美的执行,和开始设置的变量有很重要的关系.作业中的设置变量组件如... 阅296 转0 评0 公众公开 22-12-13 15:24 |
Kettle实战100篇 第23篇 命令行介绍使用。Pan:执行转换的命令行工具Kitchen:执行作业的命令行工具Encr：加密工具import: 备份和还原资源库命令工具Spoon：Kettle的Spoon图形化启动命令runSample：执行Kettle为我们提供的转换示例Carte：Kettle提供的基于Jetty的简单作业服务器,主要用于Kettle集群，不同于Kitchen命令的是,该服务是后台一直运行... 阅629 转1 评0 公众公开 22-12-13 15:23 |
Kettle实战100篇 第22篇 资源库的使用。数据库资源库：我们所有的作业、转换等ETL信息都保存在数据库中Pentaho资源库：Pentaho资源库的一个插件,在Kettle的企业版本中有这个插件文件资源库：文件资源库是在一个文件目录下定义一个资源库。我使用的是Mysql数据库作为我的资源库,建立好连接,点击Finish完成,点击后,我们的数据库因为是一个空库,在... 阅1408 转1 评0 公众公开 22-12-13 15:23 |
var str2= lower(str1);writeToLog("当前时间:"+date2str(d1,fmt));var py=dateAdd(d1,''''''''y'''''''',1);var fy=date2str(py,fmt);writeToLog("加1年："+fy);// 周1var d2=str2date(''''''''2019-08-19 16:36:00... 阅914 转5 评0 公众公开 22-12-13 15:23 |
从MySQL导入到ES也很简答,我们只需要使用表输入组件代替生成数据组件即可,在表数据组件中写上查询SQL语句,然后在ES组件设置匹配字段即可完成,转换图如下： 阅344 转0 评0 公众公开 22-12-13 15:23 |
Kettle实战100篇 第19篇 转换核心对象Microsoft Excel输出组件。在我们的8.3版本中,Excel输出有两个组件对象,分别是Excel输出和Microsoft Excel 输出，第一个是仅支持2003版本的格式(有数量限制,且步骤设置较简单),后面Microsoft Excel 输出则包含了很多属性、规则设置,我们在选择Excel输出时应该选择后者,由于Spoon翻译的缘故,我们在转换核心... 阅205 转0 评0 公众公开 22-12-13 15:23 |
Kettle实战100篇 第18篇 JavaScript脚本组件使用示例JavaScript内置对象。我们可以在JavaScript脚本中使用内部API对象。TransformationName：转换名称获取访问变量。转换如下图：JavaScript的脚本内容如下： 阅146 转0 评0 公众公开 22-12-13 15:23 |
上面这种方式很麻烦,因为你没读取一个JSON的字段属性,都需要将源JSON整体传入到方法中,在对于程序性能来说是一种消耗,因为都需要JSONPath组件重新解析一次JSON的结构。//将会抛出java.lang.ClassCastException异常,因为这是返回一个String字符串的JSONPath表达式List<String> list = JsonPath.parse(json).read("$.store.book[0].au... 阅417 转0 评0 公众公开 22-12-13 15:22 |
Kettle实战100篇 第16篇 JSON文件导入Mysql.通过解析Open Api V2.0的JSON文件导入接口信息,包括接口地址、描述、请求方式等等。先来看我们的JSON结构：我们先在我们的MySQL数据库中建立表,分别是接口信息表以及接口明细表。接口明细表：用于存储该文档中的所有接口信息，包括接口路径、接口描述、接口名称等。附录 JSON源格式完整结构。 阅271 转0 评0 公众公开 22-12-13 15:22 |
Kettle实战100篇 第14篇 参数与变量。临时变量即我们在使用Kettle的设置变量组件、生成记录等组件是定义的变量值,该变量作用于当前作业或者转换。很多时候我们需要定义我们当前Kettle环境的全局变量,比如我们在新建数据库时,不希望一直在相关组件输入用户名、密码等信息,此时我们可以在Kettle的配置文件kettle.properties中设置,该文件存在于目... 阅755 转0 评0 公众公开 22-12-13 15:22 |
