hadoop学习笔记
hadoop学习笔记
Zero零_度 发表于3年前
hadoop学习笔记
  • 发表于 3年前
  • 阅读 178
  • 收藏 2
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: hadoop

map函数执行结束后,map输出的<k, v>一共有4个,分别是<hello, 1><you, 1>,<hello, 1>,<me, 1>
分区,默认只有一个分区
排序 <hello, 1>,<hello, 1>,<me, 1><you, 1>
分组 把相同key的value放到一个集合中 <hello, {1,1}><me, {1}><you, {1}>,每一组调用一次reduce函数
归约(可选)

map任务输出的临时结果存放在linux磁盘上。


常用配置:

hdfs-site.xml

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>


共有 人打赏支持
粉丝 65
博文 726
码字总数 241540
×
Zero零_度
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: