概述

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。最近用kettle做数据处理比较多，所以也就介绍下这方面内容，这里先对比下几款主流的ETL工具。

1、DataPipeline

Data Pipeline是一家为企业用户提供数据基础架构服务的科技公司，DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多方面特性， 以保证数据质量的完整性、一致性、准确性及唯一性，彻底解决数据孤岛和数据定义进化的问题。

2、Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。

SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。

PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。

CHEF 允许你创建任务（Job）。 任务通过允许每个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。

KITCHEN 允许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。

3、Talend

Talend，是一家专业的开源集成软件公司，为企业提供开源的中间件解决方案，从而让企业能够在他们的应用，系统以及数据库中赢取更大的价值。 在传统软件公司提供封闭、私有的解决方案的领域Talend系列软件以开源的形式进行开发。Talend，可运行于 Hadoop 集群之间，直接生成 MapReduce 代码供 Hadoop 运行，从而可以降低部署难度和成本，加快分析速度。而且 Talend 还支持可进行并发事务处理的Hadoop2.0。

4、Informatica

Informatica是全球领先的数据管理软件提供商。在如下Gartner魔力象限位于领导者地位：数据集成工具魔力象限、数据质量工具魔力象限 、元数据管理解决方案魔力象限 、主数据管理解决方案魔力象限 、企业级集成平台即服务（EiPaaS）魔力象限。

Informatica Enterprise Data Integration包括Informatica PowerCenter和Informatica PowerExchange 两大产品，凭借其高性能、可充分扩展的平台，可以解决几乎所有数据集成项目和企业集成方案。

· Informatica PowerCenter用于访问和集成几乎任何业务系统、任何格式的数据，它可以按任意速度在企业内交付数据，具有高性能、高可扩展性、高可用性的特点。Informatica PowerCenter包括4个不同版本，即：标准版，实时版，高级版，云计算版。同时，它还提供了多个可选的组件，以扩展Informatica PowerCenter的核心数据集成功能，这些组件包括：数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown Optimization)、团队开发和非结构化数据等。

· Informatica PowerExchange 是一系列的数据访问产品，它确保 IT 机构能够根据需要随时随地访问并在整个企业内传递关键数据。凭该能力，IT机构可以优化有限的资源和数据的业务价值。Informatica PowerExchange支持多种不同的数据源和各类应用，包括企业应用程序、数据库和数据仓库、大型机、中型系统、消息传递系统和技术标准。

5、Datax

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

开源地址：
https://github.com/alibaba/DataX

6、Oracle Goldengate

GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。

源端通过抽取进程提取redo log或archive log日志内容，通过pump进程（TCP/IP协议）发送到目标端，最后目标端的rep进程接收日志、解析并应用到目标端，进而完成数据同步。

7、ETL工具对比

整理成表格如下：

附SqlServer数据库触发器详细介绍

概述

触发器（trigger）是SQL server 提供给程序员和数据分析员来保证数据完整性的一种方法，它是与表事件相关的特殊的存储过程，它的执行不是由程序调用，也不是手工启动，而是由事件来触发，当对一个表进行操作（ insert，delete， update）时就会激活它执行。触发器经常用于加强数据的完整性约束和业务规则等。

一、触发器的优点

1.触发器是自动的。当对表中的数据做了任何修改之后立即被激活。

2.触发器可以通过数据库中的相关表进行层叠修改。

3.触发器可以强制限制。这些限制比用CHECK约束所定义的更复杂。与CHECK约束不同的是，触发器可以引用其他表中的列。

二、触发器的分类

SqlServer包括三种常规类型的触发器：DML触发器、DDL触发器和登录触发器。

1.DML(数据操作语言,Data Manipulation Language)触发器

DML触发器是一些附加在特定表或视图上的操作代码，当数据库服务器中发生数据操作语言事件时执行这些操作。SqlServer中的DML触发器有三种：

1. insert触发器:向表中插入数据时被触发；
2. delete触发器：从表中删除数据时被触发；
3. update触发器：修改表中数据时被触发。

当遇到下列情形时，应考虑使用DML触发器：

1. 通过数据库中的相关表实现级联更改
2. 防止恶意或者错误的insert、update和delete操作，并强制执行check约束定义的限制更为复杂的其他限制。
3. 评估数据修改前后表的状态，并根据该差异才去措施。

2.DDL(数据定义语言,Data Definition Language)触发器

DDL触发器是当服务器或者数据库中发生数据定义语言(主要是以create,drop,alter开头的语句)事件时被激活使用，使用DDL触发器可以防止对数据架构进行的某些更改或记录数据中的更改或事件操作。

3.登录触发器

登录触发器将为响应 LOGIN 事件而激发存储过程。与 SQL Server 实例建立用户会话时将引发此事件。登录触发器将在登录的身份验证阶段完成之后且用户会话实际建立之前激发。因此，来自触发器内部且通常将到达用户的所有消息（例如错误消息和来自 PRINT 语句的消息）会传送到 SQL Server 错误日志。如果身份验证失败，将不激发登录触发器。

三、触发器的工作原理

[DELETE, INSERT, UPDATE]对应为当执行删除、插入、更新三种动作时被触发

执行insert时，获取插入后的数据，可用select*from inserted读取

执行delete时，获取删除前的数据，可用select*from deleted读取

执行update时，获取更新前的数据，可用select*from deleted读取，获取更新后数据，可用select*from inserted读取

四、创建触发器

1、创建触发器的语法：

CREATE TRIGGER trigger_name
 ON table_name
 [WITH ENCRYPTION]
 FOR | AFTER | INSTEAD OF [DELETE, INSERT, UPDATE]
 AS 
 T-SQL语句
GO
--with encryption 表示加密触发器定义的sql文本
--delete,insert,update指定触发器的类型

2、创建insert触发器

--创建insert触发器
create trigger trig_insert
on student
after insert
as
begin
 if object_id(N'student_sum',N'U') is null--判断student_sum表是否存在
 create table student_sum(stuCount int default(0));--创建存储学生人数的student_sum表
 declare @stuNumber int;
 select @stuNumber = count(*)from student;
 if not exists (select * from student_sum)--判断表中是否有记录
 insert into student_sum values(0);
 update student_sum set stuCount =@stuNumber; --把更新后总的学生数插入到student_sum表中
end
--测试触发器trig_insert-->功能是向student插入数据的同时级联插入到student_sum表中，更新stuCount
--因为是后触发器，所以先插入数据后，才触发触发器trig_insert;
insert into student(stu_name,stu_gender,stu_age)values('吕布','男',30);
select stuCount 学生总人数 from student_sum; 
insert into student(stu_name,stu_gender,stu_age)values('貂蝉','女',30); 
select stuCount 学生总人数 from student_sum;
insert into student(stu_name,stu_gender,stu_age)values('曹阿瞒','男',40); 
select stuCount 学生总人数 from student_sum;

3、创建delete触发器

用户执行delete操作，就会激活delete触发器，从而控制用户能够从数据库中删除数据记录，触发delete触发器后，用户删除的记录会被添加到deleted表中，原来表的相应记录被删除，所以在deleted表中查看删除的记录。

--创建delete触发器
create trigger trig_delete
on student 
after delete
as
begin
 select stu_id as 已删除的学生编号,stu_name stu_gender,stu_age
 from deleted
end;
--执行一一条delete语句触发trig_delete触发器
delete from student where stu_id=1;

4、创建UPDATE触发器

update触发器是当用户在指定表上执行update语句时被调用被调用，这种类型的触发器用来约束用户对数据的修改。update触发器可以执行两种操作：更新前的记录存储在deleted表中，更新后的记录存储在inserted表中。

--创建update触发器
create trigger trig_update
on student
after update
as
begin
 declare @stuCount int;
 select @stuCount=count(*) from student;
 update student_sum set stuCount =@stuCount;
 select stu_id as 更新前学生编号,stu_name as 更新前学生姓名 from deleted
 select stu_id as 更新后学生编号,stu_name as 更新后学生姓名 from inserted
end
--创建完成，执行一条update语句触发trig_update触发器
update student set stu_name='张飞' where stu_id=2;

五、管理触发器

1.查看触发器

(1).查看数据库中所有的触发器

--查看数据库中所有的触发器
use 数据库名
go
select * from sysobjects where xtype='TR'

sysobjects 保存着数据库的对象，其中 xtype 为 TR 的记录即为触发器对象。在 name 一列，我们可以看到触发器名称。

(2).sp_helptext 查看触发器内容

use 数据库名
go
exec sp_helptext '触发器名称'

将会以表的样式显示触发器内容。

除了触发器外，sp_helptext 还可以显示 规则、默认值、未加密的存储过程、用户定义函数、视图的文本。

(3).sp_helptrigger 用于查看触发器的属性

sp_helptrigger 有两个参数：第一个参数为表名；第二个为触发器类型，为 char(6) 类型，可以是 INSERT、UPDATE、DELETE，如果省略则显示指定表中所有类型触发器的属性。

use 数据库名
go
exec sp_helptrigger tableName

2.禁用启用触发器

禁用:alter table 表名 disable trigger 触发器名称

启用:alter table 表名 enable trigger 触发器名称

如果有多个触发器，则各个触发器名称之间用英文逗号隔开。

如果把“触发器名称”换成“ALL”，则表示禁用或启用该表的全部触发器。

3.修改触发器

--修改触发器语法
ALTER TRIGGER trigger_name 
 ON table_name 
 [ WITH ENCRYPTION ] 
 FOR {[DELETE][,][INSERT][,][UPDATE]}
 AS
 sql_statement;

4.删除触发器

 --语法格式:
 DROP TRIGGER { trigger } [ ,...n ]
参数:
 trigger: 要删除的触发器名称
 n:表示可以删除多个触发器的占位符