文档章节

Hadoop 2.6.4配置详细命令步骤

别寒
 别寒
发布于 2017/01/09 23:28
字数 395
阅读 24
收藏 1
hadoop集群搭建:

1- 新建一个hadoop用户
【useradd hadoop】
【passwd hadoop】
【也可以不用】


2- 下载hadoop-2.6.4.tar.gz
上传至虚拟机,一台即可
解压【tar -zxvf  hadoop-2.6.4.tar.gz -C apps/】

cd /apps/hadoop-2.6.4

cd etc/

cd hadoop/

pwd
echo $JAVA_HOME

vi hadoop-env.sh
更改export JAVA_HOME=本机配置的JAVA_HOME地址【/root/apps/jdk1.7.0_07】

--------------------------------------------------------------------------

vi core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://mini1:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>

</configuration>


vi hdfs-site.xml
<configuration>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

</configuration>


vi mapred-site.xml.template
<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

更改名称
mv mapred-site.xml.template mapred-site.xml


vi yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>


配置完成

====================================================================

拷贝到其他机器上去

scp -r apps mini2:/root/apps/
scp -r apps mini3:/root/apps/
scp -r apps mini4:/root/apps/
【这里要注意一下目标主机的路径,最好先使用pwd查看一下】


为hdfs做格式化

cd apps/hadoop-2.6.4/
pwd

#sudo vi /etc/profile
或
vi /etc/profile

在文件最后添加
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

sudo scp /etc/profile mini2:/etc/
sudo scp /etc/profile mini3:/etc/
sudo scp /etc/profile mini4:/etc/

source /etc/profile

同时需要为其他节点source
source /etc/profile

hadoop namenode -format


启动

cd apps/hadoop-2.6.4/sbin/
hadoop-daemon.sh start namenode

使用jps命令查看


在浏览器中查看
http://mini1:50070
或者使用ip地址:
http://192.168.45.201:50070


启动其他datanode节点
hadoop-daemon.sh start datanode

关闭datanode节点
hadoop-daemon.sh stop datanode

关闭namenode
hadoop-daemon.sh stop namenode


========================================================================

自动化启动脚本
cd apps/hadoop-2.6.4/etc/hadoop/
vi slaves

mini2
mini3
mini4

在namenode机器上
启动全部
start-dfs.sh
关闭全部
stop-dfs.sh


vi hadoop-env.sh
/root/apps/jdk1.7.0_07

© 著作权归作者所有

别寒
粉丝 30
博文 273
码字总数 155300
作品 0
永州
程序员
私信 提问
centos6.5安装hadoop2.6.4

1、下载 http://hadoop.apache.org/releases.html http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2、三台虚拟机 3、删除centos自带的jdk,安装jdk-7......

penngo
2016/04/05
487
0
CentOS7安装hive-2.1.0

环境: CentOS7 Hadoop-2.6.4,配置两个节点:master、slave1 mysql-server 过程: 下载、解压hive-2.1.0到/usr/hadoop-2.6.4/thirdparty $ tar zxvf apache-hive-2.1.0-bin.tar.gz 设置 Hi......

x163麦芽糖
2016/11/23
52
0
hadoop环境搭建总结

最近一段时间在看Hadoop The Definitive Guide, 3rd Edition.pdf,学习hadoop,个人想不能总看书,不实践呀,于是准备搭建一套开发环境,果然遇到很多问题,最终调试出了运行结果,在此记录。...

火镜先生
2016/02/18
576
0
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
hadoop-2.6.4集群编译搭建-阿里云和腾讯云

腾讯云阿里云 hadoop集群编译搭建 环境准备 阿里云配置: 腾讯云配置: 创建用户 useradd hadoop passwd haddop jdk1.7安装: 下载:http://www.oracle.com/technetwork/java/javase/downloa...

lizer2016
2016/07/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部