etl数据处理，etl和ul的区别-行瑞管理

ETL抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。市面上常用的ETL 工具有很多，比如Sqoop，DataX，Kettle，Talend 等，作为一个大数据工程师，我们最好要掌握其中的两到三种。例如DB2 的Replication 功能只能由DBA 维护与修改，普通用户无法操作。

OLTP系统提供对外输出数据的接⼝（⽐如telnet），采集系统与该接⼝对接，从数据流接⼝抽取需要的数据。变量删除(variable deletion) 如果某一变量的无效值和缺失值很多，而且该变量对于所研究的问题不是特别重要，则可以考虑将该变量删除。估算(estimation) 最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值。

1、儿童乐器

数据仓库为数据分析、报表生成、BI（Business Intelligence）工具提供一致、准确、实时或近实时的数据视图。浏览免费的O'Reilly 电子书，以了解如何开始使用Presto，一款用于数据分析的开源SQL 引擎。Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。

2、儿童零食

数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)中——这个过程也可以做一些数据的清洗和转换)，在抽取的过程中需要挑选不同的抽取方法，尽可能的提高ETL的运行效率。数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。

3、etl工具

ETL作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。大数据量下Informatica与Datastage的处理速度是比较快的，比较稳定。ETLCloud作为RestCloud公司开发的全域数据集成平台，提供了强大的自助ETL功能。