文档章节

#DDBMS#冗余docker网络(进化版)

Hochikong
 Hochikong
发布于 2015/02/18 16:46
字数 1105
阅读 380
收藏 5


环境准备:

vmware中配置四台ubuntu server 14.04(你可以只安装一个系统,使用克隆功能克隆出另外三台ubuntu),配置好SSH

每台机器配置两个网卡,像openstack一样,分Internal和External IP。这里我让eth0(NAT)作为 External,eth1(host-only)作为Internal。

拓扑图如下:

  


安装OVS:

具体安装教程参考这里:http://www.sdnlab.com/3166.html

附上我的OVS启动脚本:

ovs_launch
#!/bin/bash
#launch the ovs
ovsdb-server -v --remote=punix:/usr/local/var/run/openvswitch/db.sock --remote=db:Open_vSwitch,Open_vSwitch,manager_options --private-key=db:Open_vSwitch,SSL,private_key --certificate=db:Open_vSwitch,SSL,certificate --bootstrap-ca-cert=db:Open_vSwitch,SSL,ca_cert --pidfile --detach
#init the database
ovs-vsctl --no-wait init
#launch the main process
ovs-vswitchd --pidfile --detach
#print the version infomation
ovs-vsctl --version
echo 
echo 'OpenVswitch have been launched successfully!'

保存并放置该脚本

chmod +x ovs_launch
mv ovs_launch /usr/local/bin



安装pipework工具:

git clone https://github.com/jpetazzo/pipework
cp ~/pipework/pipework /usr/local/bin/



安装docker最新的版本:https://docs.docker.com/installation/ubuntulinux/


pull一个镜像:

docker pull ubuntu



创建挂载容器用的br0和br1网桥:

brctl addbr br0
ip link set dev br0 up
ip addr add 192.168.2.1/24 dev br0
brctl addbr br1
ip link set dev br1 up
ip addr add 192.168.3.1/24 dev br1



在每台host上配置OVS(每次开机先执行ovs_launch):

ovs-vsctl add-br ovs0
ovs-vsctl set bridge ovs0 stp_enable=true
ovs-vsctl add-port ovs0 br0
ovs-vsctl add-port ovs0 br1




创建host1tohost2的vxlan或gre隧道(这里我用的是gre):

ovs-vsctl add-port ovs0 gre0 -- set interface gre0 type=gre options:remote_ip=10.20.10.71


创建host2tohost1的gre隧道:

ovs-vsctl add-port ovs0 gre0 -- set interface gre0 type=gre options:remote_ip=10.20.10.70




创建host2tohost3的隧道:

ovs-vsctl add-port ovs0 gre1 -- set interface gre1 type=gre options:remote_ip=10.20.10.72


创建host3tohost2的隧道:

ovs-vsctl add-port ovs0 gre1 -- set interface gre1 type=gre options:remote_ip=10.20.10.71




创建host3tohost4的隧道:

ovs-vsctl add-port ovs0 gre2 -- set interface gre2 type=gre options:remote_ip=10.20.10.73


创建host4tohost3的隧道:

ovs-vsctl add-port ovs0 gre2 -- set interface gre2 type=gre options:remote_ip=10.20.10.72




创建host4tohost1的隧道:

ovs-vsctl add-port ovs0 gre3 -- set interface gre3 type=gre options:remote_ip=10.20.10.70


创建host1tohost4的隧道:

ovs-vsctl add-port ovs0 gre3 -- set interface gre3 type=gre options:remote_ip=10.20.10.73


(注意,两台主机间的互通隧道名相同,且每个OVS上不能出现重名的隧道)



启动容器并测试:

host1:

docker run -itd --name=test1 ubuntu
pipework br0 test1 192.168.2.11/24




host2:

docker run -itd --name=test1 ubuntu
pipework br0 test1 192.168.2.12/24




host3:

docker run -itd --name=test1 ubuntu
pipework br1 test1 192.168.3.11/24



host4:

docker run -itd --name=test1 ubuntu
pipework br1 test1 192.168.3.12/24



进入容器进行测试,你会发现,无论哪个容器,只要挂在同一个br网桥(同一网段),它们都是互通的。当然,如果你用192.168.2.11 ping 192.168.3.11那是绝对不行的(除非你不把br0和br1挂在ovs0上,此时route会进行路由,这种情况下可以互通)。

关于如何进入容器进行测试,可以参考我的博客:http://my.oschina.net/hochikong/blog/369036


此时,你就建立了一个冗余的docker容器网络。


总结:

关于网络的HA,你可以采取简单的星型拓扑,不过星型拓扑只适合小规模的集群。我采取的手段是启用所有OVS的STP(生成树协议,必须在挂载br0或br1之前就启用),再把交换机连成环,可以实现当一个主机断开,对于其他主机的的影响能降到最低(环已经断了时,STP会重新配置一条链路,导致网络中断数秒,这一点要靠docker中的分布式应用方案去解决)。你可以写一个程序实现调度功能。


另外,我是手动分配ip地址的,如果有分布式的dhcp服务,pipework也可以支持dhcp为容器分配ip地址(参考这里的2.1节)

docker在本地默认情况下会挂载在docker0上,你不关闭docker0网桥,用了pipework后,容器就有两个ip地址(你必须为容器配置一个默认网桥,否则外部的访问者将无法通过port来访问docker容器中的服务,因此我没删掉默认的docker0,也没更改/etc/default/docker的配置)。pipework默认为容器配置一个名为eth1的NIC,你可以在pipework的源码中根据需求修改该名称。


在这个方案中,分布式应用需要通过容器的eth1互相沟通。


主机的internal ip用于维护者进行管理,external ip用于对外提供服务。


如果想容器ping得通外网,就必须配置DNAT这类东西。



作者:Hochikong




参考:

http://blog.163.com/digoal%40126/blog/static/163877040201411602548445/

http://www.infoq.com/cn/articles/docker-network-and-pipework-open-source-explanation-practice

http://hiaero.net/beginning-openvswitch/

https://docs.docker.com/installation/ubuntulinux/

http://www.sdnlab.com/3166.html


© 著作权归作者所有

Hochikong

Hochikong

粉丝 19
博文 113
码字总数 59961
作品 1
广州
程序员
私信 提问
加载中

评论(0)

从分布式数据库结构入手讲解其前世今生

由于分布式数据库克服了集中式数据库的许多缺点,并且自然地适应于许多单位地理上分散而逻辑上统一的组织结构,因此,20多年以来从理论到实践都得到了迅速发展,并取得了决定性成果。   分...

Oscarfff
2016/06/10
380
0
分布式数据库概述

原文出处:振河 一、前言 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足:数据按...

振河
2016/03/06
0
0
#DDBMS#构建一个简单的docker网络

拓扑图如下: host1:10.20.10.70 host2:10.20.10.71 分别在主机1和主机2上创建一个ovs交换机: ovs-vsctl add-br ovs0ip link set ovs0 up 分别为ovs0添加一个port(br0在同一网段): ovs-...

Hochikong
2015/02/15
192
0
Consul的开发者模式之Docker版

目标 在consul的Docker官方镜像页面中,有一种是开发模式的使用Consul镜像,即:主要就是3个节点作为consul集群。 步骤 安装consul镜像 启动consul主节点 这里我们假设,启动的dev-consul进程...

亚林瓜子
2019/06/24
103
0
关于对小程序网络请求的封装(详尽版)

引导读者从最基础的小程序网络请求封装到网络请求封装的最优解 在使用原生小程序网络api时,有以下两个缺点: 多个页面往往代表发送多个网络请求,这样对服务器的压力过大 -> 降压 基于原因1...

致爱丽丝
05/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

直接显示StackOverflow的答题日期, 增加评论区回复的时间显示 ,修改时间显示到小时分。

// ==UserScript==// @name 直接显示StackOverflow的答题日期, 增加评论区回复的时间显示 ,修改时间显示到小时分。// @namespace http://tampermonkey.net/// @version ...

FalconChen
今天
36
0
Shader笔记_005 纹理

纹理最初的目的就是使用一张图片来控制模型的外观,通过纹理映射技术 我们可以把一张图粘贴在物体表面,逐纹素的控制模型的颜色。 通常美术建模的时候也会在软件里利用纹理展开技术把纹理展开成...

STONE-CITY
今天
12
0
iOS MVVM 与RAC结合使用

MVVM配合 RAC 更能发挥的淋漓尽致。 我们把 MVVM 第一篇的例子 KVO 的事件 替换成 配合RAC 框架使用, OC的话直接导入 : pod 'ReactiveObjC' Swift 直接用 RXSwift就可以。 把 ViewModel里加...

T型人才追梦者
今天
22
1
OSChina 周一乱弹 —— 影响心情的三座大山

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《浮生(inst.)》- 忘乡 / 墨凡悦 手机党少年们想听歌,请使劲儿戳(这里) @凝小紫...

小小编辑
今天
49
0
Unity中头发渲染

头发与普通PBR 材质最大的区别是 头发是各项异性的高光, 参考实现主要为下面文章 http://web.engr.oregonstate.edu/~mjb/cs519/Projects/Papers/HairRendering.pdf 头发包含 2个高光,以及高...

liyong2
今天
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部