共享软件/简体中文/
共享软件/简体中文/
共享软件/简体中文/
共享软件/英文/
共享软件/简体中文/
共享软件/简体中文/
共享软件/简体中文/
共享软件/简体中文/
共享软件/简体中文/
共享软件/简体中文/
软件Tags: 数据库工具kettleETL工具Kettle下载
开源etl工具kettle可以进行非常复杂的数据处理,性能非常的优越,可以有效的提升您的工作效率!支持多种应用场景,整个工作流程非常的完善,数据处理结果稳定且精准,欢迎前来下载使用!
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。纯Java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。
1、集群允许转换以及转换中的步骤在多个服务器上并发执行;
2、数据处理功能也很强大,非常适合于各种数据处理功能;
3、可以用来实现数据的剖析、清洗、校验、抽取、转换和加载等各类常见的ETL类工作;
清理数据库连接的方法
1:清理shared.xml中的不用的数据库连接。(他的保存位置一般在用户主目录下边的.kettle目录中)
2:用文本编辑软件打开kjb,ktr文件删除用户到的connection项,保存。
使用方法
Kettle自己有三个主要组件:Spoon,Kitchen,Pan。其中Spoon是一个图形化的界面,用于windows的时候,先设置环境变量:pentaho_java_home,例如:C:\Program Files\Java\jdk1.7.0_25,其实就是你的java安装目录,1.6以上即可。windows下双击Spoon.bat就可以了,界面如下:
这里我建立了资源库,其实可以用文件形式存储,存储的结构都是xml,但是我还是觉得建立一个资源库比较好,以后看job等情况也比较简单,因为数据表的可读性比xml要好得多。建立资源库和文件资源库只需要把右上角的小加号点一下,就会出现如下如的界面:
选择第一个就是建立数据库版的资源库,之后:
之后:
测试通过之后点击OK就回到最开始的界面,这时候选择test数据库连接,然后出入你的工程(我是这么叫的)ID和name,这里要记住,因为以后kitchen调度的时候要输入这个参数。
在接下来弹出的框中都点“是”,然后会出现这个界面:
这步会在你的用户下建立很多表,所以最好单独给资源库建立一个用户,当然这是在oracle下,mysql下和DB2下最好也采用同样的方式,把资源库和其他库分开。
检查一下:
SQL> conn wings/wings@prism
已连接。
SQL> select count(1) from r_repository_log;
COUNT(1)
----------
0
SQL>
表已经建好了。回到最开始的界面,选择test,点击确定,然后就会出现登录对话框,用户密码默认都是admin,以后可以自己改。
接下来就可以开始用这个工具了。
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)。该工具支持图形化的GUI设计界面,可以以工作流的形式流转,做一些简单或者复杂的数据抽取、质量检测、数据清洗、数据过滤等方面有着稳定的表现,其中最主要的是可以通过熟练的应用减少非常多的研发工作量,提高工作效率。
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。作为Pentaho的一个重要组成部分,2020年在国内项目应用上逐渐增多。