文档章节

Hadoop centos 6.5 配置

c
 colin_86
发布于 2016/11/24 11:44
字数 900
阅读 25
收藏 0
  • 配置网络(虚拟主机需要更改网络适配器为:桥接模式-复制物理网络连接状态)

//vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static
IPADDR=192.168.0.205
GATEWAY=192.168.0.1
DNS1=192.168.0.1
  • 修改当前机器名称

  1. NETWORKING 是否利用网络
  2. GATEWAY 默认网关
  3. IPGATEWAYDEV 默认网关的接口名
  4. HOSTNAME 主机名
  5. DOMAIN 域名
//vi /etc/sysconfig/network

HOSTNAME=Master.Hadoop

  • 添加用户

//添加用户
sudo useradd -m hadoop -s /bin/bash

//修改密码
sudo passwd hadoop

//赋予root权限
vi /etc/sudoers
hadoop ALL=(ALL) ALL
  • 修改hosts

vi /etc/hosts

192.168.0.205   Master.Hadoop
192.168.0.206   Slave1.Hadoop
192.168.0.207   Slave2.Hadoop
192.168.0.208   Slave3.Hadoop
  • java 环境安装(jdk 8)

  1. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html (http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm)
  2. 安装方式
//创建jave目录
mkdir -p /usr/java/

//复制rpm包到java目录下
cp jdk-8u112-linux-x64.rpm /usr/java/jdk-8u112-linux-x64.rpm

//切换至java目录
cd /usr/java

//安装java
rpm -ivh jdk-8u112-linux-x64.rpm

//在profile文件最后追加入如下内容:
vi /etc/profile

export  JAVA_HOME=/usr/java/jdk1.8.0_112
export  CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export  PATH=$PATH:$JAVA_HOME/bin

//重新加载环境变量(也可以重启计算机)
source /etc/profile
  • hadoop安装(2.7)

  1. 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
  2. 完整性比对文件:https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
  3. 完整性检测:
//SHA-256
sha256sum hadoop-2.7.3.tar.gz

//MD5
md5sum hadoop-2.7.3.tar.gz

     4.安装方式

//创建目录
在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.205:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.205:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.0.205:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.0.205:19888</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.0.205:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.0.205:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.0.205:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.0.205:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.0.205:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/usr/java/jdk1.8.0_112

//在Master服务器启动hadoop,从节点会自动启动,进入/home/hadoop/hadoop-2.7.0目录
(1)初始化,输入命令,bin/hdfs namenode -format
(2)全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息

//Web访问,要先开放端口或者直接关闭防火墙
(1)输入命令,systemctl stop firewalld.service
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/


//安装完成。这只是大数据应用的开始,之后的工作就是,结合自己的情况,编写程序调用Hadoop的接口,发挥hdfs、mapreduce的作用。
  • ssh免登陆设置

//生成免登陆公钥和秘钥
ssh-keygen -t rsa -P ''

//打开master ssh权限文件目录
cd ~/.ssh/

//公钥库文件生成
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

//slave1公钥同步到master上
scp ~/.ssh/id_rsa.pub hadoop@Master.Hadoop:~/.ssh/id_rsa.pub.slave1

//追加slave1到master
cat ~/.ssh/id_rsa.pub.slave1 >> ~/.ssh/authorized_keys

//其它slave类似的处理方法

//authorized_keys完整的公钥文件拷贝到slave上(master、slave1、slave2等)
scp ~/.ssh/authorized_keys hadoop@Slave1.Hadoop:~/.ssh/authorized_keys

 

© 著作权归作者所有

共有 人打赏支持
上一篇: Inodes 清理
c
粉丝 3
博文 156
码字总数 23530
作品 0
成都
高级程序员
私信 提问
开源中国的 Docker 优秀文章汇总

Docker 是一个开源的 Linux 应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互...

oschina
2014/08/25
5.8K
11
Redis专题-伪集群安装

教程大纲 注意事项 1、在虚拟机中安装CentOS 动一个virtual box虚拟机管理软件(vmware,我早些年,发现不太稳定,主要是当时搭建一个hadoop大数据的集群,发现每次休眠以后再重启,集群就挂...

fxliutao
2017/12/28
0
0
centos 6.5 ssh 免密码登录

百度一下,ssh linux 关键字,就有很多基本设置了,但是在centos6.5及以上版本除了正常步骤设置后还有一个配置需要更改,不然ssh登录时还是要密码验证。下面简要记录一下操作步骤: CentOS 6....

努力学的程序员
2016/04/28
315
0
Linux 内网编译 hadoop-2.5.0

1.环境 CentOS release 6.5 (Final) x8664 java version "1.7.079" hadoop-2.5.0-src.tar.gz apache-maven-3.3.9 protobuf-2.5.0 2.配置yum yum代理配置:/etc/yum.conf 3.配置Maven 3.1环境......

清风_
2016/12/09
139
0
hadoop2.5.1安装到虚拟机

1.虚拟机安装 系统版本 RHEL6.3 2.虚拟机ip配置 采用共享方式(nat) : 默认: 使用vmnet8 将虚拟机设置成使用dhcp方式上网,windows下选择"自动获取ip",linux下开启dhcp服务即可。 手动设置: i...

暗夜孤灯
2014/12/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

初识flask

文档 0.10.1版本 http://www.pythondoc.com/flask/index.html 1.0.2版本 https://dormousehole.readthedocs.io/en/latest/ 安装flask $ pip3 install flaskCollecting flask Downloading......

yimingkeji
昨天
1
0
Akka系统《sixteen》译

Actor是一个封装状态(state)和行为(behavior)的对象,它们只通过交换消息通信(放入收件人邮箱的邮件)。从某种意义上说,Actor是最严格的面向对象编程形式,但它更适合将他们视为人:在与Act...

woshixin
昨天
1
0
技术工坊|如何开发一款以太坊钱包(深圳)

【好消息!】HiBlock区块链技术工坊已经成功举办了26期,其中北京1期,西安1期,成都2期,上海22期。经常有社区的小伙伴问定期举办技术工坊的除了上海以外,其他城市有没有?现在区块链技术工...

HiBlock
昨天
1
0
Redis 梳理笔记

安装 安装gccyum install gcc-c++下载传输到服务器上解压tar -xzvf *.tar.gzcd redis-3.2.9编译make安装 make PREFIX=/usr/local/redis install将配置文件拷贝出来cp redis...

晨猫
昨天
0
0
聊聊storm TridentWindowManager的pendingTriggers

序 本文主要研究一下storm TridentWindowManager的pendingTriggers TridentBoltExecutor.finishBatch storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/TridentBoltExecut......

go4it
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部