文档章节

Hadoop 常用命令汇总

红薯苗
 红薯苗
发布于 2014/08/08 09:26
字数 238
阅读 39
收藏 0

HDFS有一个默认的工作目录/user/$USER,其中$USER是你的登陆用户名。

  1. 创建并查看目录 

  2. 查看所有子目录 

  3. 复制本地文件到HDFS中

  4. 下载文件

  5. 查看文件

  6. 删除文件

  7. 列出正在运行的job

  8. 结束job   hadoop job -kill <job_id>

  9. 检查hdfs块状态,是否损坏

  10. 检查hdfs块状态,并删除坏的块hadoop fsck / -delete

  11. 检查hdfs状态 

  12. 查看是否是安全模式和进入安全模式与退出安全模式

    hadoop dfsadmin –sademode get

    hadoop dfsadmin –sademode enter

    hadoop dfsadmin -sademode leve

  13. 并行copy

    hadoop distcp hdfs://a:8020/xxx hdfs://b:8020/

  14. 添加新节点

    1.在新节点安装好hadoop

    2.把namenode有关配置文件复制到该节点

    3.修改masters和slaves文件,增加该节点

    4.设置ssh免密码登录

    5.单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker)

    6.运行start-blancer.sh进行数据负载均衡


© 著作权归作者所有

上一篇: JAVA API 读写HDFS
下一篇: Hadoop 集群搭建
红薯苗
粉丝 11
博文 4
码字总数 604
作品 0
朝阳
私信 提问
Hadoop大数据入门到实战(第四节) - HDFS文件系统(使用)

这一小节我们来学习:1.HDFS的设计,2.HDFS常用命令。 HDFS的设计 分布式文件系统 客户:帮我保存一下这几天的数据。 程序猿:好嘞,有多大呢? 客户:1T。 程序猿:好没问题,买个硬盘就搞定...

MasterXiao
2018/08/09
0
0
standalone 模式安装

spark-1.6.0-cdh5.15.0 standalone 模式安装 更多资源 github: https://github.com/opensourceteams/spark-scala-maven csdn(汇总视频在线看): https://blog.csdn.net/thinktothings/articl......

thinktothings
2018/12/02
0
0
Hadoop工作原理图-WordCount示例

一个Mapper对应一个碎片段。 import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.M......

u013063153
2017/05/31
0
0
Hadoop集群搭建-01前期准备

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 整个搭建hadoop集群的流程...

虚拟世界的懒猫
07/21
91
0
hdfs的常用命令

Hadoop2 HDFS shell命令 1. hdfs dfs -appendToFile <localsrc> ... <dst> 可同时上传多个文件到HDFS里面 2. hdfs dfs -cat URI [URI ...] 查看文件内容 3. hdfs dfs -chgrp [-R] GROUP URI ......

岁月留痕
2015/12/08
174
0

没有更多内容

加载失败,请刷新页面

加载更多

反编译9.png图片还原

本文链接:https://blog.csdn.net/a1140778530/article/details/10528507 经常反编译apk文件找资源,9.png的文件处理起来很麻烦。 最近使用Ant自动编译打包app时,从别处搜罗来的9.png文件导...

shzwork
20分钟前
6
0
Shell脚本应用 – for、while循环语句

一、for循环语句 在实际工作中,经常会遇到某项任务需要多次执行的情况,而每次执行时仅仅是处理的对象不一样,其他命令相同。例如:根据通讯录中的姓名列表创建系统账号等情况。 当面对各种...

linux-tao
20分钟前
5
0
RPA风潮下企业财务工作模式的变革

RPA(机器人流程自动化)在财务领域的应用,正给企业财务带来前所未有的改变。 前RPA时代,财务领域面临的痛点 在RPA机器人应用之前,企业财务工作进程的推进,主要通过财务人员人工操作或信...

UiBot
25分钟前
5
0
Hive之命令行修改表注释

最近遇到一个需求,在不重建表的情况下,修改表的注释,hive有没有类似关系型数据库的SQL命令来修改呢,找了下,亲测有效,如下List-1 List-1 hive>use your_schemahvie>ALTER TABLE tabl...

克虏伯
26分钟前
5
0
是什么,它的作用是什么

在HTML文档的首部往往会有这么一句话<!DOCTYPE html>,许多时候我们忽视了它的存在,它实际上是一个声明,告诉浏览器用哪种HTML版本的规范来解读HTML文档。 尽管我们不给出这句声明浏览器照样...

前端老手
31分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部