简介

       ETL工具是建立数据库或数据仓库时的辅助工具,即Extract(抽取)、Transform(转换)、Load(装载)的首字母缩写。其作用是从ERP、CRM等企业内的多个系统中抽取数据,并将其转换为规则的数据格式,然后储存到数据库或数据仓库中。随着企业的内部信息量逐年增加,我们需要把这些内部积蓄的数据更好地用于企业经营的管理和分析。因此数据分析前的预处理工作变得至关重要,要从各种ERP等基干业务系统中横向抽取数据,然后转换、清洗并保存到数据仓库中,而完成这一作业的就是ETL。

       尤其在建立数据仓库时,大部分的工作都在于ETL的过程。只有通过ETL高效和精确的处理,才能保证数据的准确性。如果手工的去抽取,转换和装载数据,将会需要编写很多代码,而且有相当大的技术门槛。同时,如果数据的处理等需求发生更改或数据量增加时,就不容易应对。但是,如果使用ETL工具,即使没有专业知识,也可以通过可视化的界面操作,直观并准确地抽取、整合并装载数据,大量节省了开发的成本。无论后续发生多少更改,也可无缝应对。比开源软件kettle性能更稳定,更安全,执行速度更快,操作更简便。

       Waha! Transformer是采用无需编码的方式就可把各种形式的业务数据转换成目标数据格式的ETL工具。使用Waha! Transformer,将数据的抽取、转换、加工过程中的构建、转换和再利用过程高效化,可以大幅度节约该过程的工作成本。BSP上海的母公司UNIRITA Inc.自主研发了Waha! Transformer,目的就是为了解决导入数据仓库时发生的,例如“如何快速高效地开发数据抽取、转换、加工的部分”、“如何削减系统构建后的数据抽取、转换、加工部分的运维成本”等普遍的课题。当然除了构建数据仓库以外,Waha! Transformer也常被用于“基干业务系统的数据迁移和企业间系统连接及数据转换”等各种数据加工业务。

       Waha! Transformer在全球范围内拥有1500家以上的用户,其中不乏世界500强企业。在企业内外的信息量不断增加的今天,提供数据连接、数据整合利用的平台,以提高客户的数据使用价值,迎合每一个企业的需求将是Waha! Transformer最大的使命!


适用业务

功能用途

Waha能够胜任各种各样的场合,不单单为用户提供了数据清洗的功能,同时提供了许多例如数据迁移,数据分发收集,数据同步等功能。

如图下图所示,其多种多样的用途能从各种角度帮助企业获得更大的数据价值。


①数据迁移:用户企业的服务器之间进行数据迁移的时候,可以使用Waha来完成,并且Waha 能够进行批处理,十分的快捷与方便。

②数据连接:对于不同数据库的数据或是不同文件夹中的数据进行相互连接。                               

③主数据管理:用户进行主数据管理的时候,Waha能够很好的用到。                                    

④数据整合:对于不同类型的数据,比如数据库数据或是本地文件中的数据进行整合,以获得单一类型的数据进行输出。      

⑤数据同步:目前来说云服务器开始普及,越来越多的用户开始将自己的数据备份至云服务器端,在这样的数据同步的过程上   

Waha也有着相当程度的适用性。                                

                    

使用情形


◈ 快速构建BI、数据仓库


如何成功构建BI/DWH、「快速、准确」加工数据是关键。          

使用Waha! Transformer直观的GUI设定,

即使式样变更繁多的要件也可以实现合适的数据加工。


阶段1 现状分析:用于数据的检验,分析。(数据的规模,分布,统计等等)

阶段3 测试、正式环境:进行对数据的加工,清洗,并将其导入数据仓库。

阶段5 维护、运用:用交叉引用的方法检验数据的关联性。

                              (包括单元格,文件,数据源等各种单位的数据)




Waha! Transformer作为DWH用ETL广受好评的理由是?

具备了构建DWH时不可缺少的功能

能将大型机中分散的信息简单地集约到一起

能根据多种DWH格式进行精确的加工和清洗作业

能对中文,日语,英语三种语言的数据进行高度的加工处理

良好兼容前端BI工具

操作简便,轻松解决公司内部的运维问题




◈ 快速实现向新系统的数据迁移・数据连接


大型机数据迁移、COBOL批处理流程的更换

大型机系统迁移时,常会发生大量的COBOL批处理流程更换,其难度相当的高。

使用Waha! Transformer进行处理,既降低成本,又可保证质量,顺利实现批处理流程的转换。


数据盘点:迁移数据的精度前期调查

数据迁移:一次性所有海量数据的迁移、全面更换时增量数据的迁移

 



数据转换HUB(中心)的构建    

将Waha! Transformer 所在的服务器设成系统的中心,

把它作为各种应用软件和系统之间的数据转换的HUB服务器来使用。

即使将来需要连接的系统有所增加,也可灵活对应,做好数据连接。

        

迁移期间的数据连接:数据迁移期间和新系统、旧系统的数据连接

迁移后的数据连接:新系统间的数据连接(XX分钟間隔/日次/月次等)



Waha! Transformer在数据迁移,数据连接领域广受好评的理由是?

能够轻松应对日企特有的数据格式,文字编码(能够直接读取大型机的SAM文件等)

可以在多种系统环境下运行,进行跨系统的数据加工,连接

高速处理海量数据(迁移)

便于系统投入运行之后的内部运维

可将磁带备份设备中的监察,检证数据原封不动的传输到新的磁盘中进行保存和复原




◈ EXCEL制作的各种数据加工业务自动化


CRM、客户信息的整合
客户信息的清洗和整合,可以说是CRM的关键。
使用Waha! Transformer,可以实现数据清洗、整合、通过匹配方式的按名称聚合处理。
         
Excel和Access的二次加工业务的高效化、可视化
使用Excel宏进行数据加工,不但属人化,并且存在一定的风险。
而Waha! Transformer将单元格单位的数据读写和加工做成任务作业,通过可视化界面提高了维护性。



Waha! Transformer在数据二次加工业务的高效化,可视化领域广受好评的理由是?

能简单地集约基干系统与周边数据(Excel、Access、CSV等)并进行高精度的处理

无需数据库和编程知识就能使用,具有超群的操作性,大大降低人才育成的成本

无论是谁都能进行相同品质的作业,使规范共通的开发,运维技能得到了最大程度的共有




◈ EDI数据加工业务的高效化

EDI和VAN等形式的企业间数据连接,需要实现各种数据的格式统一,要把其它公司的字码要转换成与本公司主码相同格式并数据统计处理等。
使用Waha! Transformer,这些数据处理可以轻易实现。


Waha! Transformer在EDI数据加工领域广受好评的理由是?

能够应对多种格式的EDI数据分类,格式变更,长度变换等(业界标准格式,特有格式等)

能够根据各种EDI数据格式进行细致,高精度的数据加工,清洗

拥有高度的操作性,在商业伙伴发生增减,交易项目详情发生变更的时候,都能快速灵活应对

能够在公司内部完成运维,减少开支





◈ 访问日志加工・监查追踪

短期内构建监查需要的日志对照分析的环境            


Waha! Transformer作为访问日志的加工和审计报告用的ETL广受好评的理由是?

审计法人认可的自动日志审核校验系统

可进行多种访问日志的加工,转换

基于特定的政策进行日志的收集和一元管理

大型机的日志也能从容应对