技术标签： 调度工具 数据调度 数据仓库 ETL 技术交流 kettle
最近遇到了很多正在研究ETL及其工具的同学向我们抱怨：同样都在用 Kettle ，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？
其实，类似于像 Kettle 这样开源的工具，已经覆盖了大部分日常工作所需的功能了，直接部署一套就能够解决企业基本的需求。但在实际使用的过程中我们也会发现，kettle 如同是一个出场自带电话短信功能的智能手机，少了功能各异的智能 App 的配合，和只能接打电话的老年机也没什么不同。
今天我们就先对其中一个比较火热的“App”——调度工具，做一个简单的评测对比，帮助大家快速解锁用开源工具做 ETL 的新姿势。
开局我们先扫盲。
我们都知道大数据的计算、分析和处理，一般由多个任务单元组成（Hive、Sparksql、Spark、Shell等），每个任务单元完成特定的数据处理逻辑。
多个任务单元之间往往有着强依赖关系，上游任务执行并成功，下游任务才可以执行。比如上游任务结束后拿到 A 结果，下游任务需结合 A 结果才能产出 B 结果，因此下游任务的开始一定是在上游任务成功运行拿到结果之后才可以开始。
而为了保证数据处理结果的准确性，就必须要求这些任务按照上下游依赖关系有序、高效的执行。一个较为基础的处理方式是，预估出每个任务处理所需时间，根据先后顺序，计算出每个任务的执行的起止时间，通过定时跑任务的方式，让整个系统保持稳定的运行。
一个完整的数据分析任务最少执行一次，在数据量较少，依赖关系较为简单的低频数据处理过程中，这种调度方式完全可以满足需求。然而在企业级场景中，更多的是需要每天执行&#
满意答案liuweizhenlle推荐于 2017.08.11采纳率：43%等级：13已帮助：10473人你首先要确定你的电路。选择什么单片机和数码管，8个按键最简单8个IO口控制。一般简单的是用三极管驱动数码管。如果你会C语言的话，很容易上手。自己先从控制1个数码管学，在控制2个数码管(2个数码管基本上可以完成上面试验，8个就可以类推)\r\n\r\n1、初始值为0:上电复位后，单片机驱..._单片机一个按键控制八个灯亮
一、Python入门1.1第一句Python代码1. 解释器：即时调试代码，代码无法永久保存2. 文件：永久保存代码在D:\python_test\目录下新建文件hello.py,编写代码如下print('hello world')执行hello.py，即python D:\python_test\hello.pypython内部执行过程如下：上一步中执行python D:\python_test..._16 or 20在不往上下文中从左到右算直 如果有一个值为真 偶尔一个返回该时 如
一、全课程总结课程内容设计第一部分：Python快速入门围绕两个具体实例，讲解Python基本语法元素，感性认识第二部分：Python基础语法，理性学习从五个方面了解基础语法全体系，提供10个实例，理性学习第三部分：Python编程思维从方法学角度开阔认识，提升整体编程能力，展望未来面向过程编程的“Python基础语法”全体系Python基础语法→Py..._python设计游戏总结与展望
JSP共有九大内置对象：(1) HttpSession类的session对象作用：主要用于来分别保存每个用户信息，与请求关联的会话；会话状态维持是Web应用开发者必须面对的问题。(2) HttpServletRequest类的request对象作用：代表请求对象，主要用于接受客户端通过HTTP协议连接传输到服务器端的数据。(3) HttpServletResponse类的re...
SQL Server 2008R2安装教程1、打开安装包，点击setup.exe2、选择左侧列表中的“安装”。3、点击“全新安装或向现有安装添加功能”。4、检测完成点击确定。5、选择版本和密钥，然后下一步。（因为有版权要求，在这不能给安装密钥，需要安装密钥的请私信博主）6、选择“我接受许可条款”。点击下一步7、点击“安装”。8、..._sql server2008r安装教程
实 验 报 告课程名称： java web实验名称： HTML与JavaScript综合实验班 级： 计算机09-2班________学 号： 09034050219_________姓 名： 何建明_______实验日期： 2011年10月2日________实验一： HTML与JavaScript综合实验实验目标..._html+css+js金额找零的系统页面
狂野飙车(极速版)中不少玩家反馈都会遇到狂野飙车(极速版)无法连接服务器是什么原因的问题，那么怎么解决这个问题呢，这边ourplay小编为大家分享几个解决方案。狂野飙车(极速版)游戏简介狂野飙车极速版(Asphalt Nitro)是狂野飙车8的小兄弟。做好准备，在25MB的游戏下载包中体验你钟爱的令人血脉贲张的速度！操控经过授权的顶级豪车，如Ferrari LaFerrari或Lamborgh...
题目链接：https://pintia.cn/problem-sets/994805260223102976/problems/994805284923359232题目描述如果你是哈利·波特迷，你会知道魔法世界有它自己的货币系统 —— 就如海格告诉哈利的：“十七个银西可(Sickle)兑一个加隆(Galleon)，二十九个纳特(Knut)兑一个西可，很容易。”现在，给定哈利应付的价钱 P 和他..._https://pintia.cn/problem-sets/12/problems/299
java 树结构数据类型In this article, we will learn about tree and some of the common types of trees in data structure. 在本文中，我们将学习树以及数据结构中一些常见的树类型。 Tree in computer science is like a tree in the real world, ..._java 树分类
数据库相关软件MySQL数据库介绍：在网站开发中，数据库是网站的重要组成部分。只有提供数据库，数据才能够动态的展示，而不是在网页中显示一个静态的页面。数据库有很多，比如有 SQL Server 、 Oracle 、 PostgreSQL 以及 MySQL 等等。 MySQL 由于价格实惠、简单易用、不受平台限制、灵活度高等特性，目前已经取得了绝大多数的市场份额。因此我们在 Django 中，也是使..._django 写书mysql
cm14.1(cyanogenmod)是款基于android os而修改、改进的手机操作系统。cm14.1(cyanogenmod)是由android系统的第三方编译团队对系统进行加强改进的一个android系统版本，同时该版本也促进了android系统本身的研发、升级，增加了许多android系统没有的功能。cm14.1(cyanogenmod)简介：为用户提供一些在官方Android系统或手机..._cm14官网中文版
加密算法爬虫开发中，我们经常遇到一些反扒措施就是数据加密，所以了解、掌握常见加密算的加密、解密法对于爬虫开发者来说是必须了解和掌握的。一、 对称加密算法1.定义采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密，这种加密方法称为对称加密，也称为单密钥加密。由于其速度快，对称性加密通常在消息发送方需要加密大量数据时使用。但是，加解密双方使用同样的密钥进行加密和解密。密钥是控制..._xbb加解密