ETL工具Kettle介绍和一个例子

Posted on 2008-01-27 13:42 shenxiangl 阅读(17445) 评论(15)  编辑  收藏 所属分类: ETL
    因为公司近期招了几个实习生,需要我来做一个关于Kettle的培训,准备了一些培训的资料,一个ppt,用于培训的,一个数据库备份和一个详细的操作文档,是一个小作业,不敢独享,发出来给大家share,顺便作为这个技术博客的头彩,希望大家能够多来关注。

    如果大家不愿意看网页版,可以下载相关文档到本地研究:)

    培训ppt在这里
    培训手册在这里
    练习数据库备份在这里
    练习的脚本文件在这里






Kettle培训手册

 

Etl介绍

 

ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于金融IT来说,经常会遇到大数据量的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少。

Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

 

kettle部署运行

 

将kettle2.5.1文件夹拷贝到本地路径,例如D盘根目录。

双击运行kettle文件夹下的spoon.bat文件,出现kettle欢迎界面:

 


 

稍等几秒

 


 

选择没有资源库,打开kettle主界面

 


 

创建transformation,job

点击页面左上角的创建一个新的transformation,点击保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestTrans,kettle默认transformation文件保存后后缀名为ktr

 

点击页面左上角的创建一个新的job,点击保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestJob,kettle默认job文件保存后后缀名为kjb

 

创建数据库连接

 

在transformation页面下,点击左边的【Main Tree】,双击【DB连接】,进行数据库连接配置。

 


 

Connection name自命名连接名称

Connection type选择需要连接的数据库

Method of access选择连接类型

Server host name写入数据库服务器的ip地址

Database name写入数据库名

Port number写入端口号

Username写入用户名

Password写入密码

 

例如如下配置:

 


 

点击【test】,如果出现如下提示则说明配置成功

 


 

点击关闭,再点击确定保存数据库连接。

 

一个简单的ktr例子

 

目标

从交易表(trade),帐户表(account),客户表(cust)抽数交易相关的所有信息,并判断对公对私分别进行处理,输出到文本文件中。

 

操作步骤:

在EtltestTrans页面下,点击左侧的【Core Objects】,点击【Input】,选中【表输入】,拖动到主窗口释放鼠标。


 

双击【表输入】图标

 

数据库连接选择刚刚创建好的etltest数据库连接,在主窗口写入对应的查询语句

 

Select * from trade

 


 

点击确定完成。

 

点击左侧的【Lookup】,选中【数据库查询】,拖动到主窗口释放鼠标。


 

按住shift键,用鼠标点中刚才创建的【表输入】,拖动到【数据库查询】上,则建立了两个环节之间的连接。

 


 

双击【数据库查询】图标

 

步骤名称写入account表查询,数据库连接选择刚刚创建好的etltest数据库连接,查询的表写入account,查询所需的关键字中,表字段写入acctno,比较操作符写入”=”,字段1写入acctno。

 

在查询表返回的值里面写入custno,确定完成。

 


 

同上,再创建一个数据库查询,命名为cust表查询,查询的表写入cust,查询所需的关键字写入custno=custno,查询表返回的值写入custname,custid,custtype

 


 

点击左侧的【Transform】,选中【过滤记录】,拖动到主窗口释放鼠标。


 

点击左侧的【Scripting】,选中两个【Modified Java Script Value】,拖动到主窗口释放鼠标。分别双击打开,重命名为”对公类型修改”和”对私类型修改”。

 

同时,分别创建【过滤记录】和【对公类型修改】,【对私类型修改】的连接。

 

双击【规律记录】打开。

 

第一个<field>里面选择custtype,点击<value>,在Enter value里面写入1,确定


 

在发送true数据给步骤里,选择【对私类型修改】,在发送false数据给步骤里,选择【对公类型修改】,确定保存。

 


 

双击【对公类型修改】,在里面写入javascript脚本语句

 

var custtype_cn=’对公客户交易’

 

在字段中写入custtype_cn,类型选为string。确定。

 


 

同理,在【对私类型修改】中,在里面写入javascript脚本语句

 

var custtype_cn=’对私客户交易’

 

在字段中写入custtype_cn,类型选为string。确定。

 

点击左侧的【Transform】,选中两个【增加常量】,拖动到主窗口释放鼠标。分别双击打开,重命名为”增加对公常量”和”增加对私常量”。

 

分别建立【对公类型修改】和【对私类型修改】与【增加对公常量】和【增加对私常量】的连接

 


 

双击【增加对公常量】,名称写入value,类型选择string,值写入”这是一笔对公客户发生的交易”,确定保存。

 


 

同理,双击【增加对私常量】,名称写入value,类型选择string,值写入”这是一笔对私客户发生的交易”,确定保存。

 

点击左侧的【Output】,选中【文本文件输出】,拖动到主窗口释放鼠标。

 

建立【增加对公常量】,【增加对私常量】和【文本文件输出】的连接。

 


双击打开【文本文件输出】,文件名称写入D:\etltest\etltest.txt

 


 

点击内容标签,根据情况进行修改,例如

 


 

点击字段标签

名称依次写入tradeid,acctno,amt,custno,custname,custid,custtype_cn,value,类型根据各个字段实际类型进行选择

 


 

确定保存

 

点击保存创建好的transformation。

 

点击运行这个转换。

 


 

点击launch,开始运行

 

当所有状态都变成已完成时,则转换完成。


 

另一个简单的ktr例子

 

目的:

将上一个ktr生成的文本导入到数据库中。

 

操作步骤:

创建一个transformation,命名为EtltestTransfile2db.ktr,创建数据库连接etltest,点击【Input】,选中【文本文件输入】,拖到主窗口,释放鼠标,双击打开

 

文件名称里面写入D:\etltest\etltest.txt

 


 

点击内容标签,分隔符写入@@,将头部的钩去掉

 


 

点击字段标签,名称依次写入tradeid,acctno,amt,custno,custname,custid,custtype_cn,value,类型根据各个字段实际类型进行选择

 


 

点击【Transform】,选中【字段选择】,拖到主窗口,释放鼠标

 

点击【Output】,选中【表输出】,拖到主窗口,释放鼠标

 

建立【文本文件输入】和【字段选择】与【字段选择】和【表输出】的连接

 


 

双击【表输出】,目标表中写入trade_all,提交记录数量写成1,确定保存。

 


 

双击【字段选择】,点击 获取选择的字段,再点击Edlt Mapping,点击OK确定,编辑所有字段对应关系,点确定。

 


 

点击运行这个转换。,则将上一个ktr中生成的文本,导入到数据库当中。

 

一个简单的kjb例子

 

目的:

将上两个transformation一起在同一个job里面调用执行。

 

操作步骤:

在EtlscriptJob页面,点击【Core Objects】,点击【Job entries】,选中【START】拖动到主窗口释放鼠标,再选中两个【Transformation】,拖动到主窗口释放鼠标,建立【START】和 【Transformation】与【Transformation】之间的连接。

 

双击第一个【Transformation】,在Transformation filename中写入D:\etltest\EtltestTrans.ktr,确定保存。

 


 

    同时将另外一个【Transformation】,路径指向D:\etltest\EtltestTransfile2db.ktr,保存。

 

点击保存创建好的job。

 

点击运行这个转换。

 

待所有任务都显示成功,则为job调用transformation运行成功。

 


 


Feedback

# re: ETL工具Kettle介绍和一个例子[未登录]  回复  更多评论   

2008-01-27 14:28 by xmlspy
没说这个到底是什么东西,是干什么的,有什么特色

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-01-27 17:04 by shenxiangl
@xmlspy
简单的说,etl就是从一个数据源获取数据,然后进过一系列转换,放到另外一个数据源的过程

Kettle的好处就是绿色开源,平台兼容性好,性能也很不错

缺点是我发现了一个bug,日志输出不能超过49M多,否则会宕机

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-01-28 12:58 by 羽翼渐丰
我们用DS,不过现在也在了解学习kettle,触类旁通,而且开源还可以看源码。

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-01-28 14:07 by shenxiangl
DATA stage?
呵呵,和数据库关联的ETL工具要比Kettle这种什么都不沾的工具要好啊

但是从另外一方面考虑,跨数据库的应用还是不是很好

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-01-28 20:32 by FastUnit
好,文档收了,正打算找这方面的资料...

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-02-28 09:44 by 蔷薇
我是初学者 望版主以后多提供一些这方面的知识 谢谢

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-06-18 10:50 by wyd
我遇到一个麻烦了。 就是在我迁移blob字段的时候出现了内存溢出的问题,解决不 了.  
 当迁移完后内存不自动清空,怎么办呢?希望帮我一下.
  谢谢

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2008-06-18 10:52 by shenxiangl
你用的什么模块来迁移你的那个字段?kettle是将这些都当作对象来处理,所以除非你用流查询等来处理,否则应该不会造成内存溢出

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2009-03-26 18:33 by 张三
好东西,谢谢分享!!

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2009-04-22 11:51 by wangqi
谢谢分析 刚开始接触

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2009-08-06 13:09 by libraforlaw
谢啦.......

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2009-12-24 17:08 by zzz
你好 我怎么看不到图片啊

# re: ETL工具Kettle介绍和一个例子  回复  更多评论   

2010-07-14 21:17 by upcxcf
数据库备份怎么导入啊

# re: ETL工具Kettle介绍和一个例子[未登录]  回复  更多评论   

2010-08-10 14:24 by han
@upcxcf
同问,数据库备份文件怎么导入,是什么数据库啊?

# re: ETL工具Kettle介绍和一个例子[未登录]  回复  更多评论   

2012-07-03 16:38 by lj
请问那个数据库备份是啥格式啊?

只有注册用户登录后才能发表评论。


网站导航: