文档章节

centos7 hadoop 集群安裝步驟

hmc0316
 hmc0316
发布于 2016/09/05 18:15
字数 523
阅读 27
收藏 0

 

 

##################################################################
change /etc/hosts
##################################################################
#vim /etc/hosts
192.168.0.5 Master Master
192.168.0.6 Slave1 Slave1
192.168.0.4 Slave2 Slave2

##################################################################
close firewall
##################################################################
#systemctl stop firewalld.service
#systemctl disable firewalld.service 

##################################################################
close selinux
##################################################################
#>vim /etc/selinux/config   <---diabled
#>yum -y install java-1.8.0-openjdk*

##################################################################
change hostname
##################################################################
#sudo hostnamectl set-hostname Master|Slave1|Slave2

#ntpdate cn.pool.ntp.org

#vi /etc/environment
JAVA_HOME=/usr/lib/jvm/java-1.8.0/
JRE_HOME=/usr/lib/jvm/java-1.8.0/jre

#vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0/

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin
#source /etc/profile

##################################################################
no password login
##################################################################
1. 
#ssh-keygen -t rsa  (everyone)
2.
cp ~/.ssh/id_rsa.pub ~/.ssh/master.id_rsa.pub 
cp ~/.ssh/id_rsa.pub ~/.ssh/slave1.id_rsa.pub
cp ~/.ssh/id_rsa.pub ~/.ssh/slave2.id_rsa.pub
scp ~/.ssh/slave1.id_rsa.pub master:~/.ssh
scp ~/.ssh/slave2.id_rsa.pub master:~/.ssh
3.
cd ~/.ssh
cat id_rsa.pub >> authorized_keys  (local)
cat slave1.id_rsa.pub >> authorized_keys  
cat slave2.id_rsa.pub >> authorized_keys  
.....(same as slave1 and slave2)
4.
scp authorized_keys slave1:~/.ssh
scp authorized_keys slave2:~/.ssh
5.
vi /etc/ssh/sshd_config

remark '#'

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

#sudo systemctl restart sshd.service

6. chmod every machine

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

##################################################################
zookeeper cluster install (slave1 + slave2)
##################################################################
1.tar
#tar -zxvf zookeeper-3.4.8.tar.gz -C /opt/
#cd /opt/zookeeper/conf
#cp zoo_sample.cfg zoo.cfg
#vi zoo.cfg
dataDir=/opt/zookeeper/data    #数据目录
dataLogDir=/opt/zookeeper/logs  #日志目录
server.1=slave1:2888:3888
server.2=slave2:2888:3888
2.create dir
mkdir /opt/zookeeper/data
mkdir /opt/zookeeper/logs
vi /home/zookeeper/data/myid #创建myid文件,并编辑它,编辑的内容就是配置文件中server.后面跟着的号数。例如目前是在slave0机器上,则在myid文件中写入0
3.start
/opt/zookeeper/bin/zkServer.sh start
/opt/zookeeper/bin/zkServer.sh status

##################################################################
hadoop configuration
##################################################################
1.
vi core-site.xml
   <property>
        <name>hadoop.tmp.dir</name>
       <value>/opt/hadoop/tmp</value>
   </property>
   <property>
        <name>fs.defaultFS</name>
       <value>hdfs://master:9000</value>
   </property>
   <property>
       <name>ha.zookeeper.quorum</name>
       <value>HSlave0:2181,HSlave1:2181,HSlave2:2181</value>
   </property>

2.修改 hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
            <value>slave1:9001</value>
    </property>
</configuration>

3.修改 mapred-site.xml
<configuration>
        <property>
            <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

</configuration>

4.修改yarn.site.xml
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
  </property>
</configuration>

5.slaves
#>vi /opt/hadoop/etc/hadoop/slaves
Slave1
Slave2

6. copy the hadoop direction to other slaves(slave1,slave2) 把配置好的hadoop复制到slave节点
#scp -r /opt/hadoop @slave1:/opt
#scp -r /opt/hadoop @slave2:/opt
#scp -r /opt/hadoop @slave3:/opt

7.***并在slave节点上创建/data/tmp目录,同时注意修改权限***

8.先格式化
    $hdfs namenode –format 
    启动
    $start-dfs.sh
    $start-yarn.sh
    或
    $start-all.sh

9.在namenode节点查看进程
#>jps

10.在datanode查看進程
#>jps

© 著作权归作者所有

hmc0316
粉丝 1
博文 49
码字总数 55901
作品 0
台北
程序员
私信 提问
設置一個支持多種版本的 Python 環境

起因 爲了以下目的才有了本文: 學習 Python 3 。 使系統 Python 環境不再受污染。 前提 配置過程中需要用到以下軟件: Python 2.7.3 ( 通過確認 ) pip ( 通過 確認 ) curl ( 通過 確認 ) li...

星塵子
2013/03/05
0
0
如何在 64 位元的 Windows 7 中安裝 PLSQL DEVELOPER 8 和 Oracle 11g x64 Client

問題的解決方法 以下是操作步驟: 先到 Oracle 官網下載 Oracle Database 11g Release 2 Client (11.2.0.1.0) for Microsoft Windows (x64) ,接者依照以下步驟安裝: a. 執行 win6411gR2cl...

思考_
2013/12/17
0
0
在 WINDOWS 7 的 XAMPP 安裝 MEMCACHED 擴展

步驟一: 修改 C:/xampp/php/php.ini 在 php.ini 中加入或找出 ;extension=phpmemcache.dll 改成或加入 extension=phpmemcache.dll 另外找出或加入 [Memcache]memcache.allow_failover = 1mem......

初級程序猿
2016/02/22
30
0
Web服務器的配置方法

Web服務器的配置方法 一、 安裝IIS 1. 進入[控制面板]-à[新增/移除Windows元件],勾選Internet Information Servers(IIS)如圖,在安裝過程中需要插入windows操作系統光盤 2. 建立虛擬目錄 ...

jimbuster
2007/04/24
0
0
於 Intel® 架構加速 Android* 模擬器

於 Intel® 架構加速 Android* 模擬器 摘要: 如果您是 Android 開發者,且對 Android 模擬器的效能不太滿意,那麼請務必閱讀本篇文章。Android 開發者總是對模擬器的效能怨聲載道,抱怨速度...

neumeng
2015/05/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

利用mybatis generator生成实体类、Mapper接口以及对应的XML文件

项目中通常会遇到数据的持久化,如果是采用mybatis的orm,就会涉及到生成xml的问题,刚好mybatis官网提供了这么个插件MyBatis Generator,效果简直是棒呆。 1. 首先需要在build.gradle文件中...

啊哈关关
今天
2
0
SpringSocial相关的知识点

使用SprigSocial开发第三方登录 核心类 ServiceProvider(AbstractOauth2ServiceProvider):主要负责实现server提供商(例如QQ,微信等共有的东西),默认实现类是AbstractOauth2ServiceProvider...

chendom
今天
1
0
Java并发之AQS详解

一、概述   谈到并发,不得不谈ReentrantLock;而谈到ReentrantLock,不得不谈AbstractQueuedSynchronizer(AQS)!   类如其名,抽象的队列式的同步器,AQS定义了一套多线程访问共享资源...

群星纪元
昨天
2
0
Fabric-sdk-java最新教程

Fabric Java SDK是Fabric区块链官方提供的用于Java应用开发的SDK,全称为Fabric-sdk-java,网上可用资料不多,本文列出了精心整理的针对Fabric Java SDK的最新精选教程。 如果希望快速掌握F...

汇智网教程
昨天
2
0
react 子组件监听props 变化

componentWillReceiveProps //已经被废弃 getDerivedStateFromProps// 推荐使用//如果条件不存在必须要返回null static getDerivedStateFromProps(props, current_stat...

一箭落旄头
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部