《Hadoop大明白》【1】Hadoop的核心组件

原创
2018/11/28 18:14
阅读数 29

本书适用于想对大数据平台Hadoop有深入了解的程序员朋友,会帮助你以后在应用开发方面趟平一些坑。

1,Hadoop 是一个系列大数据组件构成的应用平台,可由多个廉价机器搭建集群,提供分布式存储和计算。

2,MapReduce 分为map和reduce。 map是将一系列数据转换N个k-v reduce是将k-v经过分布式并行计算,并将结果合并处理得到目的。

3,Hive 是一个元数据存储于关系型数据库,数据集存于HDFS的数据仓库;可用HiveQL进行MapReduce计算。

4,Impala

5, Spark 是摆脱MapReduce,使用新型内存计算框架的计算引擎。

6,HBase是NoSql(not only sql)的实现,rowkey,列组,region,regionServer,MasterServer是要自行了解的内容。

展开阅读全文
打赏
0
0 收藏
分享
加载中
MPRO博主
序:萌生了一些想法,打算写一些心得,希望对后来人有所帮助
2018/11/28 18:15
回复
举报
更多评论
打赏
1 评论
0 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部