文档章节

vmware虚拟机redhat7.2下docker容器安装hadoop

gk4030
 gk4030
发布于 2016/07/09 18:32
字数 1784
阅读 760
收藏 7

系统准备:

系统安装及配置    【略】详见:http://www.osyunwei.com/archives/7702.html

ip配置:

# cat /etc/sysconfig/network-scripts/ifcfg-eno16777736 
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
UUID=dadee176-cc84-43f4-9ea9-e30a30ca3abf
DEVICE=eno16777736
ONBOOT=yes
#20160708 add
IPADDR0=192.168.128.130
PREFIXO0=24
GATEWAY0=192.168.128.1
#DNS1=
#DNS2=

DNS配置
 

# cat /etc/resolv.conf
# Generated by NetworkManager


# No nameservers found; try putting DNS servers into your
# ifcfg files in /etc/sysconfig/network-scripts like so:
#
# DNS1=xxx.xxx.xxx.xxx
# DNS2=xxx.xxx.xxx.xxx
# DOMAIN=lab.foo.com bar.foo.com

nameserver 192.168.128.1

本地yum配置

# 挂载iso文件
# mkdir -p /media/cdrom
# vi /etc/fstab
'''
/opt/rhel-server-7.2-x86_64-dvd.iso /media/cdrom   iso9660    defaults,ro,loop  0 0
'''
# mount -a
# df -lh
'''
/dev/loop0             3.8G  3.8G     0 100% /media/cdrom
'''

# vi /etc/yum.repos.d/rhel-media.repo 
[rhel-media]
name=Red Hat Enterprise Linux 7.2
baseurl=file:///media/cdrom
enabled=1
gpgcheck=1
gpgkey=file:///media/cdrom/RPM-GPG-KEY-redhat-release

# 清理缓存
# yum clean
# 将服务器上的软件包信息在本地缓存,以提高 搜索安装软件的速度
# yum makecache        

主机名修改

hostnamectl --staticset-hostname rhels7-docker

一、安装docker

因国内访问docker官网速度问题,这里使用国内的加速镜像 daocloud.io

curl -sSL https://get.daocloud.io/docker | sh

安装过程将会创建一个用户组 docker

查看docker版本

docker version

启动docker,并查看状态

systemctl start docker.service
systemctl status docker.service

显示系统信息(前提:docker服务处于启动状态)

docker info

二、拉取centos镜像

docker pull daocloud.io/library/centos:centos7

三、启动镜像

1、先查看本地镜像

docker images

如下:

说明:centos是安装完hadoop后的镜像,daocloud.io/library/centos是刚刚拉取的,下面的操作都是基于此进行的

2、启动

docker run -h master --dns=192.168.128.1 -it daocloud.io/library/centos:centos7

说明:

    -h master    #指定主机名

    --dns=192.168.128.1    #因人而异,配置错误将影响后期软件安装

    -it        #以交互模式启动

    具体可docker run --help查看


四、安装必要软件及配置

1、安装基础软件

yum install -y wget vim openssh-server openssh-clients net-tools

 说明: netstat, ifconfig命令包含在net-tools包中

安装完后并不会启动sshd服务,容器是被docker管理的,无法使用一些系统命令,要启动sshd需要执行如下命令:

/usr/sbin/sshd -D &

注意:sshd服务是hadoop必须的,在此通过脚本实现启动容器就运行sshd

vi /root/run.sh
内容
#!/bin/bash
/usr/sbin/sshd -D
赋权
chmod +x /root/run.sh

2、网络配置

docker容器通过桥接与外部通信,不想每次启动容器都要指定dns

修改默认dns

2.1修改宿主机配置文件 /etc/default/docker

DOCKER_NETWORK_OPTIONS="--dns=192.168.128.1"

2.2修改宿主机配置文件 /lib/systemd/system/docker.service

[Service]
EnvironmentFile=-/etc/default/docker
ExecStart=/usr/bin/docker daemon -H fd:// $OPTIONS \
		$DOCKER_NETWORK_OPTIONS

详见:http://docs.master.dockerproject.org/engine/admin/systemd/

重启宿主机docker服务

systemctl daemon-reload
systemctl restart docker.service
#使用这个命令可以查看 docker 的启动命令是否生效
ps -ef | grep docker

root       2415      1  0 14:41 ?        00:00:10 /usr/bin/docker daemon -H fd:// --dns=192.168.128.1
root       2419   2415  0 14:41 ?        00:00:01 docker-containerd -l /var/run/docker/libcontainerd/docker-containerd.sock --runtime docker-runc --start-timeout 2m

3、安装jdk8

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.tar.gz
mkdir /usr/java
tar zxf jdk-8u91-linux-x64.tar.gz -C /usr/java
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_91' >> /etc/bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/bashrc
echo 'export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/bashrc
source /etc/bashrc

4、安装hadoop

4.1 安装hadoop,并配置环境变量

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
mkdir /usr/local/hadoop
tar zxf hadoop-2.7.2.tar.gz -C /usr/local/hadoop
echo 'export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.2' >> /etc/bashrc
echo 'export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop' >> /etc/bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/bashrc
source /etc/bashrc

4.2 配置hadoop

HADOOP_HOME目录下创建如下目录

  • tmp:临时目录
  • namenode:NameNode 存放目录
  • datanode:DataNode 存放目录

切换到HADOOP_CONFIG_HOME目录

cp mapred-site.xml.template mapred-site.xml

配置 core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/hadoop-2.7.2/tmp</value>
    <description>A base for other temporary dirctories.</description>
  </property>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    <final>true</final>
    <description>The name of the default file system.
    A URI whose scheme and authority determine the FileSystem implemntation.
    The uri's scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implemnetation class.
    The uri's authority is used to determine the host, port, etc. for a filesystem.</description>
  </property>
</configuration>

配置hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
    <final>true</final>
    <description>Default block replication.
    The actual number of replications can be specified when the file is created.
    The default is used if replication is not specified in create time.
    </description>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hadoop-2.7.2/namenode</value>
    <final>true</final>
  </property>

  <property>
    <name>dfs.datenode.data.dir</name>
    <value>/usr/local/hadoop/hadoop-2.7.2/datanode</value>
    <final>true</final>
  </property>
</configuration>

配置mapred-site.xml

<configuration>
  <property>
    <name>maperd.job.tracker</name>
    <value>master:9001</value>
    <description>The host and port that the MapReduce job tracker runs at.
    IF "local", then jobs are run in-process as a single map and reduce task</description>
  </property>
</configuration>

4.3 配置ssh免密码登录

ssh-keygen -q -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key -N ''    
ssh-keygen -q -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ''
ssh-keygen -t dsa -f /etc/ssh/ssh_host_ed25519_key  -N ''

然后修改master容器/etc/ssh/sshd_config文件

UsePAM yes 改为 UsePAM no
UsePrivilegeSeparation sandbox 改为 UsePrivilegeSeparation no

[root@b5926410fe60 /]# sed -i "s/#UsePrivilegeSeparation.*/UsePrivilegeSeparation no/g" /etc/ssh/sshd_config
[root@b5926410fe60 /]# sed -i "s/UsePAM.*/UsePAM no/g" /etc/ssh/sshd_config

修改完后,重新启动sshd
[root@b5926410fe60 /]# /usr/sbin/sshd -D

4.4 修改容器root密码

passwd root

5、保存该docker容器container

docker commit -m "hadoop installed" 690a57e02578 centos:hadoop

删除多余容器

docker rm <container_id>

说明:690a57e02578 为container_id,因人而异,可通过docker ps查看

保存完成后,可通过docker images查看本地镜像
    REPOSITORY                   TAG                 IMAGE ID            CREATED             SIZE
    centos                       hadoop              b01079411e19        45 seconds ago      1.434 GB
    daocloud.io/library/centos   centos7             ea08fb8c4ba5        7 days ago          196.8 MB


五、启动hadoop

说明:关键因素1、sshd服务,2、/etc/hosts配置到master节点的映射

修改容器的/root/run.sh,容器ip默认从172.17.0.2开始分配,3个节点,最后一个启动master节点,故能确定masterip为172.17.0.4

#!/bin/bash
echo '172.17.0.4    master' >> /etc/hosts
/usr/sbing/sshd -D

另:在宿主机上也可根据container_id用docker inspect <CONTAINER_ID>:查看容器详细信息(输出为Json)如:ip、mac、hostname等

docker inspect -f '{{ .NetworkSettings.IPAddress }}' 690a57e02578
docker inspect -f '{{ .NetworkSettings.MacAddress }}' 690a57e02578
docker inspect -f '{{ .Config.Hostname }}' 690a57e02578

1、基于新镜像(centos:hadoop)运行启动3个容器

docker run -d -p 10012:22 --name slave1 centos:hadoop /root/run.sh
docker run -d -p 10022:22 --name slave2 centos:hadoop /root/run.sh
docker run -d -p 10002:22 --name master -h master -P --link slave1:slave1 --link slave2:slave2 centos:hadoop /root/run.sh

说明:-p参数指定容器22端口分别映射到宿主机端口,本地可通过ssh访问宿主机10002/10012/10022端口连接到3个容器中

2、启动hadoop

2.1 连入master容器

docker exec -it 175c3129e021 /bin/bash

2.2 格式化namenode

hdfs namenode -format

显示如下信息,表示格式化成功

16/07/09 08:12:36 INFO common.Storage: Storage directory /usr/local/hadoop/hadoop-2.7.2/namenode has been successfully formatted.
16/07/09 08:12:36 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
16/07/09 08:12:36 INFO util.ExitUtil: Exiting with status 0

2.3 启动hadoop

因已配置好环境变量,进入容器后,可直接运行

start-all.sh

使用jps查看进程

# jps
163 NameNode
675 NodeManager
1316 Jps
581 ResourceManager
279 DataNode
429 SecondaryNameNode

六、宿主机配置iptables实现端口转发

转发方向:容器端口50070   <--->   宿主机50070

在宿主机执行

iptables -t nat -A PREROUTING -d 192.168.128.130 -p tcp --dport 50070 -j DNAT --to-destination 172.17.0.4:50070

说明:192.168.128.130  为宿主机,172.17.0.4为master容器

至此,本地即可访问虚拟机(或说宿主机)上容器中的hadoop集群

 


参考并修正:https://www.gaoyuexiang.cn/archives/389
下一步:理清docker网络

© 著作权归作者所有

gk4030
粉丝 6
博文 21
码字总数 8642
作品 0
深圳
架构师
私信 提问
Docker 在温柔地杀死 VMware

作者简介:Matt Asay是资深的技术专栏作家,为CNET、ReadWrite及其他科技外媒撰稿。 虽然传统架构仍然依赖虚拟机,但日益重要的开发者社区对容器满怀热情。 想象一下这样一家公司:实际上享有...

云头条
2018/04/17
0
0
Docker系列一:Docker的介绍和安装

Docker介绍 Docker是指容器化技术,用于支持创建和实验Linux Container。借助Docker,你可以将容器当做重量轻、模块化的虚拟机来使用,同时,你还将获得高度的灵活性,从而实现对容器的高效创...

白天不懂夜的黑i
2018/08/18
0
0
用分布式存储VSAN实现Harbor Registry的高可用方案

用分布式存储VSAN实现Harbor Registry的高可用方案 陈实 张海宁 不久前,VMware发布了Docker容器数据卷的驱动(Docker Volume Driver for vSphere)1.0 beta版本,使得Docker宿主机能够直接在...

project_harbor
2016/10/09
514
0
使用Docker for Windows初体验

这是第二次使用Docker for Windows了。 最近准备研究一下Docker的一些高级特性如Swarm Clusters,需要用到docker-machine,docker-machine目前仅支持Mac 或 Windows,由于没有Mac所以需要在W...

urey_pp
2017/04/11
0
0
Docker 基础知识-入门篇

1. Docker简介和KVM区别 1.1 docker的三大理念 构建 运输 运行 ps:有点类似于java代码,一次构建到处运行 1.2 docker结构 相关说明: image: 和虚拟机的镜像类似 container: 用镜像创建的实例...

wzaqj
2018/06/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
14
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
15
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部