Hadoop 常用命令汇总

原创
2014/08/08 09:26
阅读数 142

HDFS有一个默认的工作目录/user/$USER,其中$USER是你的登陆用户名。

  1. 创建并查看目录 

  2. 查看所有子目录 

  3. 复制本地文件到HDFS中

  4. 下载文件

  5. 查看文件

  6. 删除文件

  7. 列出正在运行的job

  8. 结束job   hadoop job -kill <job_id>

  9. 检查hdfs块状态,是否损坏

  10. 检查hdfs块状态,并删除坏的块hadoop fsck / -delete

  11. 检查hdfs状态 

  12. 查看是否是安全模式和进入安全模式与退出安全模式

    hadoop dfsadmin –sademode get

    hadoop dfsadmin –sademode enter

    hadoop dfsadmin -sademode leve

  13. 并行copy

    hadoop distcp hdfs://a:8020/xxx hdfs://b:8020/

  14. 添加新节点

    1.在新节点安装好hadoop

    2.把namenode有关配置文件复制到该节点

    3.修改masters和slaves文件,增加该节点

    4.设置ssh免密码登录

    5.单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker)

    6.运行start-blancer.sh进行数据负载均衡


展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部