文档章节

Hadoop centos 6.5 配置

c
 colin_86
发布于 2016/11/24 11:44
字数 900
阅读 24
收藏 0
  • 配置网络(虚拟主机需要更改网络适配器为:桥接模式-复制物理网络连接状态)

//vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static
IPADDR=192.168.0.205
GATEWAY=192.168.0.1
DNS1=192.168.0.1
  • 修改当前机器名称

  1. NETWORKING 是否利用网络
  2. GATEWAY 默认网关
  3. IPGATEWAYDEV 默认网关的接口名
  4. HOSTNAME 主机名
  5. DOMAIN 域名
//vi /etc/sysconfig/network

HOSTNAME=Master.Hadoop

  • 添加用户

//添加用户
sudo useradd -m hadoop -s /bin/bash

//修改密码
sudo passwd hadoop

//赋予root权限
vi /etc/sudoers
hadoop ALL=(ALL) ALL
  • 修改hosts

vi /etc/hosts

192.168.0.205   Master.Hadoop
192.168.0.206   Slave1.Hadoop
192.168.0.207   Slave2.Hadoop
192.168.0.208   Slave3.Hadoop
  • java 环境安装(jdk 8)

  1. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html (http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm)
  2. 安装方式
//创建jave目录
mkdir -p /usr/java/

//复制rpm包到java目录下
cp jdk-8u112-linux-x64.rpm /usr/java/jdk-8u112-linux-x64.rpm

//切换至java目录
cd /usr/java

//安装java
rpm -ivh jdk-8u112-linux-x64.rpm

//在profile文件最后追加入如下内容:
vi /etc/profile

export  JAVA_HOME=/usr/java/jdk1.8.0_112
export  CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export  PATH=$PATH:$JAVA_HOME/bin

//重新加载环境变量(也可以重启计算机)
source /etc/profile
  • hadoop安装(2.7)

  1. 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
  2. 完整性比对文件:https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
  3. 完整性检测:
//SHA-256
sha256sum hadoop-2.7.3.tar.gz

//MD5
md5sum hadoop-2.7.3.tar.gz

     4.安装方式

//创建目录
在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.205:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.205:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.0.205:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.0.205:19888</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.0.205:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.0.205:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.0.205:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.0.205:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.0.205:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/usr/java/jdk1.8.0_112

//在Master服务器启动hadoop,从节点会自动启动,进入/home/hadoop/hadoop-2.7.0目录
(1)初始化,输入命令,bin/hdfs namenode -format
(2)全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息

//Web访问,要先开放端口或者直接关闭防火墙
(1)输入命令,systemctl stop firewalld.service
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/


//安装完成。这只是大数据应用的开始,之后的工作就是,结合自己的情况,编写程序调用Hadoop的接口,发挥hdfs、mapreduce的作用。
  • ssh免登陆设置

//生成免登陆公钥和秘钥
ssh-keygen -t rsa -P ''

//打开master ssh权限文件目录
cd ~/.ssh/

//公钥库文件生成
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

//slave1公钥同步到master上
scp ~/.ssh/id_rsa.pub hadoop@Master.Hadoop:~/.ssh/id_rsa.pub.slave1

//追加slave1到master
cat ~/.ssh/id_rsa.pub.slave1 >> ~/.ssh/authorized_keys

//其它slave类似的处理方法

//authorized_keys完整的公钥文件拷贝到slave上(master、slave1、slave2等)
scp ~/.ssh/authorized_keys hadoop@Slave1.Hadoop:~/.ssh/authorized_keys

 

© 著作权归作者所有

共有 人打赏支持
c
粉丝 2
博文 149
码字总数 22702
作品 0
成都
高级程序员
开源中国的 Docker 优秀文章汇总

Docker 是一个开源的 Linux 应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互...

oschina
2014/08/25
5.8K
11
Redis专题-伪集群安装

教程大纲 注意事项 1、在虚拟机中安装CentOS 动一个virtual box虚拟机管理软件(vmware,我早些年,发现不太稳定,主要是当时搭建一个hadoop大数据的集群,发现每次休眠以后再重启,集群就挂...

fxliutao
2017/12/28
0
0
centos 6.5 ssh 免密码登录

百度一下,ssh linux 关键字,就有很多基本设置了,但是在centos6.5及以上版本除了正常步骤设置后还有一个配置需要更改,不然ssh登录时还是要密码验证。下面简要记录一下操作步骤: CentOS 6....

努力学的程序员
2016/04/28
315
0
Linux 内网编译 hadoop-2.5.0

1.环境 CentOS release 6.5 (Final) x8664 java version "1.7.079" hadoop-2.5.0-src.tar.gz apache-maven-3.3.9 protobuf-2.5.0 2.配置yum yum代理配置:/etc/yum.conf 3.配置Maven 3.1环境......

清风_
2016/12/09
139
0
hadoop2.5.1安装到虚拟机

1.虚拟机安装 系统版本 RHEL6.3 2.虚拟机ip配置 采用共享方式(nat) : 默认: 使用vmnet8 将虚拟机设置成使用dhcp方式上网,windows下选择"自动获取ip",linux下开启dhcp服务即可。 手动设置: i...

暗夜孤灯
2014/12/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

postgresql 使用odbc_fdw连接 sqlserver

安装配置odbc_fdw 1.安装unixODBC apt-get install unixodbc unixodbc-dev 2.安装 Microsoft ODBC Driver 17 for SQL Server curl https://packages.microsoft.com/config/ubuntu/16.04/prod......

dubox
5分钟前
0
0
学习

z-index {堆叠顺序} vertical-align: baseline;{垂直对齐图像} vertical-align: middle;{内容在中部对齐} font-weight: bold;{使用粗体} font-style: italic;{从父元素那继承字体的样式} whi...

墨冥
10分钟前
0
0
Lock和synchronized比较详解

https://www.cnblogs.com/handsomeye/p/5999362.html

qimh
16分钟前
0
0
Postman接口测试神器从安装到精通

1 摘要 Postman 是一个接口测试和 http 请求的神器,非常好用。 官方 github 地址: https://github.com/postmanlabs Postman 的优点: 支持各种的请求类型: get、post、put、patch、delete ...

HiBlock
17分钟前
0
0
c++_拷贝构造函数

拷贝构造又叫复制构造;如果没有实现拷贝构造函数,c++会自动生成一个,叫做隐式拷贝构造函数.该自动生成的隐式拷贝构造也能应付绝大部分情况. 拷贝构造函数的格式: //定义class CTest{p...

一个小妞
18分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部