Apache Falcon是一个开源的hadoop数据生命周期管理框架, 它提供了数据源 (Feed) 的管理服务,如生命周期管理,备份,存档到云等,通过Web UI可以很容易地配置这些预定义的策略, 能够大大简化hadoop集群的数据流管理. 本文主要介绍了Falcon的基本特性, 核心概念以及架构, 最后讨论了它的优点和局限.
Hortonworks的hadoop发行版HDP中,数据治理包括Falcon和Atlas这两个组件.Atlas主要负责元数据的管理. Falcon主要负责数据生命周期的管理.
核心特性
集中式数据生命周期管理: Falcon在UI上提供wizard来定义数据导入,处理和导出的流水线, 同时可以管理监控流水线的运行.
业务一致性和灾难恢复: Falcon可以拷贝HDFS文件和hive表.
解决审计和合规性方面的需求: 可以利用falcon查看数据流水线的血缘关系,审计日志,以及为业务流程和数据打标签,方便业务管理.
Falcon 如何工作
Falcon的使用者可以通过命令行或者Falcon Web UI来创建数据流水线,数据流水线由集群存储位置定义,数据源和处理逻辑组成,这三部分分别为由xml文件定义的实体.
实体 (entity)
falcon中定义的三种实体包括:
cluster: 支持定义多个集群.
feed: 数据源, 支持类型包括hdfs路径和hive表.
process: 处理逻辑,支持oozie,hive,pig和spark作为作业流引擎.
Falcon pipeline
数据流水线 (data pipeline)
每个实体是单独定义的,把实体组合起来就形成了数据流水线,Falcon提供了很多预定义的策略来处理数据拷贝,数据保留时间和存档.
架构原理
Falcon把用户定义的feed和process
翻译成调度器的作业配置文件,这些作业流由调度器管理,falcon实际上只维护实体之间的依赖关系,所以它是个轻量级的工具.Falcon实体的配置文件(xml文件)可以存在本地或者hdfs上.
Falcon架构
调度器
Falcon目前默认使用oozie作为调度器, 由于oozie调度器的一些限制,falcon正在开发自己的调度器,预计将在以后的版本中正式发布.
与oozie集成
Falcon通过JMS (Java消息服务) 与oozie进行通信,控制oozie上对应的作业流,oozie也通过JMS给falcon报告作业运行情况.
讨论
总结来说, Falcon是在调度器Oozie上封装了一层,用户可以用Web UI上的wizard来配置数据流水线, 数据生命周期管理非常方便. 它最大的优点就是增强了Oozie的易用性, 对于业务逻辑比较复杂的系统, 用Falcon管理比起直接用Oozie会大大简化. 但是调研中发现, Falcon Web UI上呈现的血缘关系只是以实体为中心, 并没有全局层面上整个data pipeline的血缘关系. 如果能够以pipeline为中心, 画出血缘关系图,提供zoom in功能, 以及在图中把实体运行状态可视化, 将会是一个很有用的特性. 虽然被称为 数据治理工具,但是它的功能只是集中在数据生命周期管理和流水线管理,要与元数据管理(Atlas),数据安全管理(Ranger) 等组合,才能形成一个完整的数据治理解决方案. 调研发现, Falcon的关注度并不算高,能搜到的英文资料主要是Apache和Hortonworks官网,中文资料几乎没有. 目前也没有看到哪个大公司在生产环境中用Falcon,我认为主要是因为Falcon提供的功能单一, 只解决了数据治理领域的一小部分需求,用户更愿意使用集中化的数据治理工具,或者自己开发.
参考：
http://falcon.apache.org/GettingStarted.html
http://book.open-falcon.org/zh_0_2/intro/
