文档章节

hadoop-2.6.0常用命令记录

尚浩宇
 尚浩宇
发布于 2015/05/22 11:24
字数 418
阅读 76
收藏 0

默认命令执行路径为hadoop主目录

查看hdfs目录

bin/hadoop dfs -ls /

上传文件至hdfs

bin/hadoop dfs -put 文件路径 hdfs系统路径,如:bin/hadoop dfs -put ../input /put

下载文件

bin/hadoop dfs -get  hdfs文件路径 文件路径,如:bin/hadoop dfs -get /in ~/in

删除hdfs文件

bin/hadoop dfs -rmr hdfs路径,如:bin/hadoop dfs -rmr /in

查看文件内容

bin/hadoop dfs -cat 文件地址+文件名,如:bin/hadoop dfs -cat /in/_SUCCESS

查看hdfs系统统计信息

bin/hadoop dfsadmin -report

进入安全模式

bin/hadoop dfsadmin -salfmode enter Salf mode is ON

退出安全模式

bin/hadoop dfsadmin -salfmode leave Salf mode is OFF


负载均衡

bin/start-balancer.sh

关闭防火墙

centos 7:
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁用
之前的版本:
service iptables stop #停止
chkconfig iptables off #禁用

补充一个在已经运行的hadoop添加节点的方法,

  1. 在新节点里配置jdk(安装路径最好和其他一致,否则要自己手动去修改)

  2. 配饰ssh免密码登陆

  3. 从其他节点里拷贝一份hadoop到新节点里(同样路径要统一)

  4. 修改每一台节点里的masters和slaves文件,将新增的节点添加进去(假设你已经配置好各个节点里的hosts文件)

  5. 假如重启集群代价很低那么可以重启,如果不能重启,在新节点hadoop文件运行如下命令

sbin/hadoop-daemons.sh start datanode

  6.此时新节点已经添加成功了

  7.假如你想要将以前的数据块均衡到新节点,那么再执行一下命令进行负载均衡

bin/start-balancer.sh


© 著作权归作者所有

尚浩宇

尚浩宇

粉丝 68
博文 149
码字总数 125023
作品 4
朝阳
程序员
私信 提问
hadoop、hive、sqoop安装备忘

由于各版本之间兼容问题 ,这里记下本次环境搭建遇到的各种问题。 版本: hadoop-2.6.0 hive-1..2.1 sqoop-1.99.7 简单说明一下,然后再记录各个模块的问题。 hadoop目前最新版是2.7.0,新特...

尚浩宇
2016/10/28
104
0
hadoop_学习_02_Hadoop环境搭建(单机)

一、环境准备 1.说明 hadoop的下载来源有: 官方版本:http://archive.apache.org/dist/hadoop/ CDH版本:http://archive.cloudera.com/cdh5 企业应用一般选择CDH版本,因为比较稳定。 若决定...

rayner
2018/03/21
0
0
hadoop+zookeeper集群高可用搭建

Hadoop集群搭建步骤 1. 架构图 2. 准备5台机器 centosa: 192.168.42.128 centosb: 192.168.42.129 centosc: 192.168.42.130 centosd: 192.168.42.133 centose: 192.168.42.134 namenode: ce......

lvzhl
2016/12/12
609
0
Hadoop zookeeper HA高可靠集群部署搭建,及错误诊断

http://archive-primary.cloudera.com/cdh5/cdh/5/ 一.准备工作 1.修改Linux主机名,每台都得配置 [root@h24 ~]# vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=h201 2.修改IP /etc/s......

mengxiangchang
2018/06/25
0
0
centos单机安装Hadoop2.6

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root 二,安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址:http:...

x163麦芽糖
2016/11/09
13
0

没有更多内容

加载失败,请刷新页面

加载更多

硬件配置

https://akkadia.org/drepper/futex.pdf sudo lshw -businfo[sudo] lambda 的密码: Bus info Device Class Description======================================......

MtrS
今天
2
0
springmvc的return “success”源码解读

qqqq

architect刘源源
今天
4
0
Java程序员五面阿里分享 逆袭成功 太不容易了!

前言 拿到阿里实习offer,经历了5次面试,其中4轮技术面,1轮HR面试。在这里分享一下自己的面试经验和学习心得。希望能够帮助更多的小伙伴。 我本科毕业于中南大学信管专业,真正开始学习Jav...

别打我会飞
昨天
4
0
Android Camera模块解析之视频录制

《Android Camera架构》 《Android Camera进程间通信类总结》 《Android Camera模块解析之拍照》 《Android Camera模块解析之视频录制》 《Android Camera原理之CameraDeviceCallbacks回调模...

天王盖地虎626
昨天
2
0
手把手教你使用issue作为博客评论系统

自从上周在阮一峰的 每周分享第 60 期 看到了可以将 GitHub 的 issue 当作评论系统,插入第三方网页的 JS 库——utterances。我就对此“魂牵梦绕”。个人博客使用的是VuePress。 TLDR (不多废...

jump--jump
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部