大数据生态圈-1

原创
02/26 17:05
阅读数 177

常用存储相关技术组件

HDFS、Kafka、HBase、ElasticSearch

常用计算相关技术组件

MapReduce、Spark、Flink

新老OLAP生态技术组件

Hive、ClickHouse

集群资源管理调度组件

YARN、Spark standalone、Flink standalone

大数据通用协调服务组件

ZooKeeper

数据收集和迁移

flume、canal、 sqoop、datax、waterdrop等

任务调度

azkaban、oozie、dophinscheduler、airf1ow

部署运维

cloudera manager、ambari、SaltStack等

监控告警

Alertmanager+Prometheus,zabbix,openfalcon等

安全和权限

Kerberos、 anger等

数据治理

Griffin

元数据管理

Atlas

数据湖

Data Lake 三剑客——Delta、Hudi、Iceberg 

数据地图
数据资产
数据血缘

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部