hdfs命令行和客户端的区别(一个大坑)
hdfs命令行和客户端的区别(一个大坑)
只要你快乐 发表于3年前
hdfs命令行和客户端的区别(一个大坑)
  • 发表于 3年前
  • 阅读 15
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】如何购买服务器最划算?>>>   

一直都没有发现,原理hdfs的命令行和客户端api的使用还是有很大差别的


现象:

将dfs.block.size设置成128M



现有28G的数据,理论上讲map的总数应该是224个,但是map数量却翻倍成448个



一直都找不出原因,使用hdfs命令行查看需要进行mapreduce的文件的block大小



然后通过hdfs fs -put 命令放进去的文件block大小就是128M



最后猜测应该是客户端API没有读到在构造Configuration对象时没有读到服务器上的*-site.xml导致的,将服务器上的*-site.xml放到客户端的根目录下实验了一下,果然OK了

共有 人打赏支持
粉丝 1
博文 10
码字总数 7697
×
只要你快乐
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: