hadoop 知识
hadoop 知识
Scofieldxs 发表于5个月前
hadoop 知识
  • 发表于 5个月前
  • 阅读 9
  • 收藏 1
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

##7.hadoop

  1. 基本架构

    1. hdfs:分布式文件系统
    2. map-reduce:分布式计算框架
  2. hdfs

    1. NameNode:一个,系统总管,管理hdfs目录树
    2. DateNode:一个节点,实际数据存储
  3. MapReduce框架

    1. JobTracker
    2. TaskTracker
  4. map过程

  5. reduce过程

  6. Partitioner

    1. 作用是对Mapper产生的中间结果进行分片,将同一分组的数据交给同一个reducer处理

    2. 默认hash分片

      (key.hashcode & Integer.MAX_VALUE) % reduce_num

  7. 任务选择策略: map task最重要的策略是:数据本地性

  8. 任务调度器:FIFO

  9. task运行过程

    1. map输出分布式排序:先由各个map task对输出进行局部排序,然后reduce task进行全局排序
    2. reduce
共有 人打赏支持
粉丝 3
博文 24
码字总数 26439
×
Scofieldxs
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: