不同版本hadoop集群的批量文件复制方案

原创
04/27 19:04
阅读数 45

如果试图在两个运行不同HDFS版本的集群上使用distcp复制数据并使用hdfs协议,会导致复制作业失败,因为两个系统版本的RPC是不兼容的。想要弥补这种情况,可以基于只读HTTP协议的HFTP文件系统并从源文件系统中读取数据。这个作业必须运行在目标集群上,进而实现HDFS RPC版本的兼容。使用HFTP协议重复前面的例子:

%hadoop discp hftp://namenode1:50070/foo hdfs://namenode2/bar

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部