文档章节

Hadoop centos 6.5 配置

c
 colin_86
发布于 2016/11/24 11:44
字数 900
阅读 22
收藏 0
点赞 0
评论 0
  • 配置网络(虚拟主机需要更改网络适配器为:桥接模式-复制物理网络连接状态)

//vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO=static
IPADDR=192.168.0.205
GATEWAY=192.168.0.1
DNS1=192.168.0.1
  • 修改当前机器名称

  1. NETWORKING 是否利用网络
  2. GATEWAY 默认网关
  3. IPGATEWAYDEV 默认网关的接口名
  4. HOSTNAME 主机名
  5. DOMAIN 域名
//vi /etc/sysconfig/network

HOSTNAME=Master.Hadoop

  • 添加用户

//添加用户
sudo useradd -m hadoop -s /bin/bash

//修改密码
sudo passwd hadoop

//赋予root权限
vi /etc/sudoers
hadoop ALL=(ALL) ALL
  • 修改hosts

vi /etc/hosts

192.168.0.205   Master.Hadoop
192.168.0.206   Slave1.Hadoop
192.168.0.207   Slave2.Hadoop
192.168.0.208   Slave3.Hadoop
  • java 环境安装(jdk 8)

  1. 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html (http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm)
  2. 安装方式
//创建jave目录
mkdir -p /usr/java/

//复制rpm包到java目录下
cp jdk-8u112-linux-x64.rpm /usr/java/jdk-8u112-linux-x64.rpm

//切换至java目录
cd /usr/java

//安装java
rpm -ivh jdk-8u112-linux-x64.rpm

//在profile文件最后追加入如下内容:
vi /etc/profile

export  JAVA_HOME=/usr/java/jdk1.8.0_112
export  CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export  PATH=$PATH:$JAVA_HOME/bin

//重新加载环境变量(也可以重启计算机)
source /etc/profile
  • hadoop安装(2.7)

  1. 下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
  2. 完整性比对文件:https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
  3. 完整性检测:
//SHA-256
sha256sum hadoop-2.7.3.tar.gz

//MD5
md5sum hadoop-2.7.3.tar.gz

     4.安装方式

//创建目录
在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.205:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.205:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.0.205:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.0.205:19888</value>
    </property>
</configuration>


//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.0.205:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.0.205:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.0.205:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.0.205:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.0.205:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>

//配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME,不设置的话,启动不了,
export JAVA_HOME=/usr/java/jdk1.8.0_112

//在Master服务器启动hadoop,从节点会自动启动,进入/home/hadoop/hadoop-2.7.0目录
(1)初始化,输入命令,bin/hdfs namenode -format
(2)全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话,输入命令,sbin/stop-all.sh
(4)输入命令,jps,可以看到相关信息

//Web访问,要先开放端口或者直接关闭防火墙
(1)输入命令,systemctl stop firewalld.service
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/


//安装完成。这只是大数据应用的开始,之后的工作就是,结合自己的情况,编写程序调用Hadoop的接口,发挥hdfs、mapreduce的作用。
  • ssh免登陆设置

//生成免登陆公钥和秘钥
ssh-keygen -t rsa -P ''

//打开master ssh权限文件目录
cd ~/.ssh/

//公钥库文件生成
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

//slave1公钥同步到master上
scp ~/.ssh/id_rsa.pub hadoop@Master.Hadoop:~/.ssh/id_rsa.pub.slave1

//追加slave1到master
cat ~/.ssh/id_rsa.pub.slave1 >> ~/.ssh/authorized_keys

//其它slave类似的处理方法

//authorized_keys完整的公钥文件拷贝到slave上(master、slave1、slave2等)
scp ~/.ssh/authorized_keys hadoop@Slave1.Hadoop:~/.ssh/authorized_keys

 

© 著作权归作者所有

共有 人打赏支持
c
粉丝 2
博文 147
码字总数 22479
作品 0
成都
高级程序员
开源中国的 Docker 优秀文章汇总

Docker 是一个开源的 Linux 应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互...

oschina
2014/08/25
5.8K
11
Redis专题-伪集群安装

教程大纲 注意事项 1、在虚拟机中安装CentOS 动一个virtual box虚拟机管理软件(vmware,我早些年,发现不太稳定,主要是当时搭建一个hadoop大数据的集群,发现每次休眠以后再重启,集群就挂...

fxliutao
2017/12/28
0
0
centos 6.5 ssh 免密码登录

百度一下,ssh linux 关键字,就有很多基本设置了,但是在centos6.5及以上版本除了正常步骤设置后还有一个配置需要更改,不然ssh登录时还是要密码验证。下面简要记录一下操作步骤: CentOS 6....

努力学的程序员
2016/04/28
315
0
Linux 内网编译 hadoop-2.5.0

1.环境 CentOS release 6.5 (Final) x8664 java version "1.7.079" hadoop-2.5.0-src.tar.gz apache-maven-3.3.9 protobuf-2.5.0 2.配置yum yum代理配置:/etc/yum.conf 3.配置Maven 3.1环境......

清风_
2016/12/09
139
0
hadoop2.5.1安装到虚拟机

1.虚拟机安装 系统版本 RHEL6.3 2.虚拟机ip配置 采用共享方式(nat) : 默认: 使用vmnet8 将虚拟机设置成使用dhcp方式上网,windows下选择"自动获取ip",linux下开启dhcp服务即可。 手动设置: i...

暗夜孤灯
2014/12/01
0
0
hadoop的安装与配置

Hadoop版本 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本,本教程均可适用. 基本环境:Centos 6.5 jdk1.7.0_67 hadoop2.5.1 一、配置jdk...

ictedu
2017/04/18
0
0
CentOS 6.5 搭建Hadoop 1.2.1集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1、操作系统环境配置 1.1、操作系统环境 1.2、关闭防火墙和SELinux 1.2.1、关闭防火...

巴利奇
01/10
0
0
OSChina 技术专题之 Docker 更新版(201412)

Docker 是一个开源的 Linux 应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相...

OSC编辑部
2014/10/13
7.9K
18
centos7 hadoop 集群安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/ 前言: 本文安装配置的hadoop为分布式的集群,单机配置见:centos7 hadoop 单机模式安装配置 我用的三个cen...

董可伦
05/21
0
0
centos6.5 安装hadoop2.7.6 1master2node

环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装,Java下载的oracle官网的1.8.0_172的包安装。 参考了别人的文档,遇到了不同的问题。 1. 3台centos6.5 vmware 192.168.17...

简记
04/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

pbgo: 基于Protobuf的迷你RPC/REST框架

https://www.oschina.net/p/pbgo

chai2010
27分钟前
0
0
rsync工具介绍、常用选项以及通过ssh同步

linux下的文件同步工具 rsync rsync是非常实用的一个同步工具,可以从a机器到b机器传输一个文件,也可以备份数据,系统默认没有这个工具,要使用命令 yum install -y rsync 安装。 rsync的命...

黄昏残影
43分钟前
0
0
OSChina 周四乱弹 —— 表妹要嫁人 舅妈叮嘱……

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @哈哈哈哈哈嗝:一定要听——The Pancakes的单曲《咁咁咁》 《咁咁咁》- The Pancakes 手机党少年们想听歌,请使劲儿戳(这里) @clouddyy :...

小小编辑
今天
145
4
流利阅读笔记30-20180719待学习

重磅:让人类得老年痴呆的竟是它? Lala 2018-07-19 1.今日导读 去年奥斯卡最佳动画长片《寻梦环游记》里有一句经典台词:“比死亡更可怕的,是遗忘”。在电影中,年迈的曾祖母会重复说一样的...

aibinxiao
今天
3
0
1.16 Linux机器相互登录

Linux机器之间以密码方式互相登录 运行命令#ssh [ip address],标准命令:#ssh [username]@ip, 如果没有写用户名,则默认为系统当前登录的用户 命令#w查看系统负载,可查看到连接到该主机的...

小丑鱼00
今天
0
0
about git flow

  昨天元芳做了git分支管理规范的分享,为了拓展大家关于git分支的认知,这里我特意再分享这两个关于git flow的链接,大家可以看一下。 Git 工作流程 Git分支管理策略   git flow本质上是...

qwfys
今天
2
0
Linux系统日志文件

/var/log/messages linux系统总日志 /etc/logrotate.conf 日志切割配置文件 参考https://my.oschina.net/u/2000675/blog/908189 dmesg命令 dmesg’命令显示linux内核的环形缓冲区信息,我们可...

chencheng-linux
今天
1
0
MacOS下给树莓派安装Raspbian系统

下载镜像 前往 树莓派官网 下载镜像。 点击 最新版Raspbian 下载最新版镜像。 下载后请,通过 访达 双击解压,或通过 unzip 命令解压。 检查下载的文件 ls -lh -rw-r--r-- 1 dingdayu s...

dingdayu
今天
1
0
spring boot使用通用mapper(tk.mapper) ,id自增和回显等问题

最近项目使用到tk.mapper设置id自增,数据库是mysql。在使用通用mapper主键生成过程中有一些问题,在总结一下。 1、UUID生成方式-字符串主键 在主键上增加注解 @Id @GeneratedValue...

北岩
今天
2
0
告警系统邮件引擎、运行告警系统

告警系统邮件引擎 cd mail vim mail.py #!/usr/bin/env python#-*- coding: UTF-8 -*-import os,sysreload(sys)sys.setdefaultencoding('utf8')import getoptimport smtplibfr......

Zhouliang6
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部