Hadoop centos 6.5 配置
博客专区 > colin_86 的博客 > 博客详情
Hadoop centos 6.5 配置
colin_86 发表于12个月前
Hadoop centos 6.5 配置
  • 发表于 12个月前
  • 阅读 17
  • 收藏 0
  • 点赞 0
  • 评论 0
  • 配置网络(虚拟主机需要更改网络适配器为:桥接模式-复制物理网络连接状态)

//vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static
IPADDR=192.168.0.205
GATEWAY=192.168.0.1
DNS1=192.168.0.1
  • 修改当前机器名称

  1. NETWORKING 是否利用网络
  2. GATEWAY 默认网关
  3. IPGATEWAYDEV 默认网关的接口名
  4. HOSTNAME 主机名
  5. DOMAIN 域名
//vi /etc/sysconfig/network

HOSTNAME=Master.Hadoop

  • 添加用户

//添加用户
sudo useradd -m hadoop -s /bin/bash

//修改密码
sudo passwd hadoop

//赋予root权限
vi /etc/sudoers
hadoop ALL=(ALL) ALL
  • 修改hosts

vi /etc/hosts

192.168.0.205   Master.Hadoop
192.168.0.206   Slave1.Hadoop
192.168.0.207   Slave2.Hadoop
192.168.0.208   Slave3.Hadoop
  • java 环境安装(jdk 8)

  1. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html (http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm)
  2. 安装方式
//创建jave目录
mkdir -p /usr/java/

//复制rpm包到java目录下
cp jdk-8u112-linux-x64.rpm /usr/java/jdk-8u112-linux-x64.rpm

//切换至java目录
cd /usr/java

//安装java
rpm -ivh jdk-8u112-linux-x64.rpm

//在profile文件最后追加入如下内容:
vi /etc/profile

export  JAVA_HOME=/usr/java/jdk1.8.0_112
export  CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export  PATH=$PATH:$JAVA_HOME/bin

//重新加载环境变量(也可以重启计算机)
source /etc/profile
  • hadoop安装(2.7)

  1. 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
  2. 完整性比对文件:https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
  3. 完整性检测:
//SHA-256
sha256sum hadoop-2.7.3.tar.gz

//MD5
md5sum hadoop-2.7.3.tar.gz

     4.安装方式

//创建目录
在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.205:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.205:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.0.205:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.0.205:19888</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.0.205:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.0.205:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.0.205:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.0.205:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.0.205:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/usr/java/jdk1.8.0_112

//在Master服务器启动hadoop,从节点会自动启动,进入/home/hadoop/hadoop-2.7.0目录
(1)初始化,输入命令,bin/hdfs namenode -format
(2)全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息

//Web访问,要先开放端口或者直接关闭防火墙
(1)输入命令,systemctl stop firewalld.service
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/


//安装完成。这只是大数据应用的开始,之后的工作就是,结合自己的情况,编写程序调用Hadoop的接口,发挥hdfs、mapreduce的作用。
  • ssh免登陆设置

//生成免登陆公钥和秘钥
ssh-keygen -t rsa -P ''

//打开master ssh权限文件目录
cd ~/.ssh/

//公钥库文件生成
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

//slave1公钥同步到master上
scp ~/.ssh/id_rsa.pub hadoop@Master.Hadoop:~/.ssh/id_rsa.pub.slave1

//追加slave1到master
cat ~/.ssh/id_rsa.pub.slave1 >> ~/.ssh/authorized_keys

//其它slave类似的处理方法

//authorized_keys完整的公钥文件拷贝到slave上(master、slave1、slave2等)
scp ~/.ssh/authorized_keys hadoop@Slave1.Hadoop:~/.ssh/authorized_keys

 

标签: Hadoop CentOS
共有 人打赏支持
粉丝 3
博文 125
码字总数 21084
×
colin_86
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: