文档章节

ceph-deploy源码分析(二)——new模块 <转>

banwh
 banwh
发布于 2017/08/23 12:58
字数 1164
阅读 16
收藏 0

ceph-deploy源码分析(二)——new模块

原文:http://www.hl10502.com/2017/06/19/ceph-deploy-new/#more

ceph-deploy的new.py模块是用来开始部署新集群,创建ceph.conf、ceph.mon.keyring文件。

 

new 子命令格式如下

ceph-deploy new [-h] [--no-ssh-copykey] [--fsid FSID]
                       [--cluster-network CLUSTER_NETWORK]
                       [--public-network PUBLIC_NETWORK]
                       MON [MON ...]

 

部署集群

make函数priority为10,子命令设置的默认函数为new函数。

@priority(10)
def make(parser):
    """
    Start deploying a new cluster, and write a CLUSTER.conf and keyring for it.
    """
    parser.add_argument(
        'mon',
        metavar='MON',
        nargs='+',
        help='initial monitor hostname, fqdn, or hostname:fqdn pair',
        type=arg_validators.Hostname(),
        )
    parser.add_argument(
        '--no-ssh-copykey',
        dest='ssh_copykey',
        action='store_false',
        default=True,
        help='do not attempt to copy SSH keys',
    )
    parser.add_argument(
        '--fsid',
        dest='fsid',
        help='provide an alternate FSID for ceph.conf generation',
    )
    parser.add_argument(
        '--cluster-network',
        help='specify the (internal) cluster network',
        type=arg_validators.Subnet(),
    )
    parser.add_argument(
        '--public-network',
        help='specify the public network for a cluster',
        type=arg_validators.Subnet(),
    )
    parser.set_defaults(
        func=new,
        )

 

部署新集群

new 函数开始部署新集群

  • 创建ceph.conf文件,写入[global]fsid、mon_initial_members、mon_host、auth_cluster_required、auth_service_required、auth_client_required,如果参数中有public_network、cluster_network写入配置文件
  • 调用new_mon_keyring函数创建ceph.mon.keyring文件
  • def new(args):
        if args.ceph_conf:
            raise RuntimeError('will not create a Ceph conf file if attemtping to re-use with `--ceph-conf` flag')
        LOG.debug('Creating new cluster named %s', args.cluster)
        # 生成配置
        cfg = conf.ceph.CephConf()
        cfg.add_section('global')
        # 获取参数中的额fsid或者自动生成
        fsid = args.fsid or uuid.uuid4()
        cfg.set('global', 'fsid', str(fsid))
        # if networks were passed in, lets set them in the
        # global section
        if args.public_network:
            cfg.set('global', 'public network', str(args.public_network))
        if args.cluster_network:
            cfg.set('global', 'cluster network', str(args.cluster_network))
        # mon节点
        mon_initial_members = []
        # mon主机
        mon_host = []
        # 循环host
        for (name, host) in mon_hosts(args.mon):
            # Try to ensure we can ssh in properly before anything else
            # ssh key copy
            if args.ssh_copykey:
                ssh_copy_keys(host, args.username)
            # Now get the non-local IPs from the remote node
            # 连接远程主机
            distro = hosts.get(host, username=args.username)
            # 获取主机的IP地址
            remote_ips = net.ip_addresses(distro.conn)
            # custom cluster names on sysvinit hosts won't work
            if distro.init == 'sysvinit' and args.cluster != 'ceph':
                LOG.error('custom cluster names are not supported on sysvinit hosts')
                raise exc.ClusterNameError(
                    'host %s does not support custom cluster names' % host
                )
            distro.conn.exit()
            # Validate subnets if we received any
            if args.public_network or args.cluster_network:
                # 校验IP地址
                validate_host_ip(remote_ips, [args.public_network, args.cluster_network])
            # Pick the IP that matches the public cluster (if we were told to do
            # so) otherwise pick the first, non-local IP
            LOG.debug('Resolving host %s', host)
            if args.public_network:
                ip = get_public_network_ip(remote_ips, args.public_network)
            else:
                ip = net.get_nonlocal_ip(host)
            LOG.debug('Monitor %s at %s', name, ip)
            mon_initial_members.append(name)
            try:
                socket.inet_pton(socket.AF_INET6, ip)
                mon_host.append("[" + ip + "]")
                LOG.info('Monitors are IPv6, binding Messenger traffic on IPv6')
                cfg.set('global', 'ms bind ipv6', 'true')
            except socket.error:
                mon_host.append(ip)
        LOG.debug('Monitor initial members are %s', mon_initial_members)
        LOG.debug('Monitor addrs are %s', mon_host)
        # mon_initial_members 有多个的话,中间用空格隔开
        cfg.set('global', 'mon initial members', ', '.join(mon_initial_members))
        # no spaces here, see http://tracker.newdream.net/issues/3145
        # mon_host 有多个的话,中间没有空格
        cfg.set('global', 'mon host', ','.join(mon_host))
        # override undesirable defaults, needed until bobtail
        # http://tracker.ceph.com/issues/6788
        cfg.set('global', 'auth cluster required', 'cephx')
        cfg.set('global', 'auth service required', 'cephx')
        cfg.set('global', 'auth client required', 'cephx')
        path = '{name}.conf'.format(
            name=args.cluster,
            )
        # 创建mon keyring
        new_mon_keyring(args)
        LOG.debug('Writing initial config to %s...', path)
        tmp = '%s.tmp' % path
        with open(tmp, 'w') as f:
            # 保存ceph配置文件
            cfg.write(f)
        try:
            os.rename(tmp, path)
        except OSError as e:
            if e.errno == errno.EEXIST:
                raise exc.ClusterExistsError(path)
            else:
                raise

     

注意:
mon_initial_members 有多个的话,中间用空格隔开
mon_host 有多个的话,中间没有空格

创建ceph.mon.keyring文件

new_mon_keyring函数创建ceph.mon.keyring文件

def new_mon_keyring(args):
    LOG.debug('Creating a random mon key...')
    mon_keyring = '[mon.]\nkey = %s\ncaps mon = allow *\n' % generate_auth_key()
    keypath = '{name}.mon.keyring'.format(
        name=args.cluster,
        )
    oldmask = os.umask(0o77)
    LOG.debug('Writing monitor keyring to %s...', keypath)
    try:
        tmp = '%s.tmp' % keypath
        with open(tmp, 'w', 0o600) as f:
            f.write(mon_keyring)
        try:
            os.rename(tmp, keypath)
        except OSError as e:
            if e.errno == errno.EEXIST:
                raise exc.ClusterExistsError(keypath)
            else:
                raise
    finally:
        os.umask(oldmask)

 

手工部署集群

以ceph-deploy部署集群:ceph-deploy new ceph-231为例,对应的手工操作。

获取ip地址

执行以下命令,通过正则表达式获取IP地址192.168.217.231

[root@ceph-231 ceph-cluster]# /usr/sbin/ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master ovs-system state UP mode DEFAULT qlen 1000
    link/ether 02:03:e7:fc:dc:36 brd ff:ff:ff:ff:ff:ff
3: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT
    link/ether 86:f4:14:e3:1b:b2 brd ff:ff:ff:ff:ff:ff
4: xenbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN mode DEFAULT
    link/ether 02:03:e7:fc:dc:36 brd ff:ff:ff:ff:ff:ff

 

[root@ceph-231 ceph-cluster]# /usr/sbin/ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master ovs-system state UP qlen 1000
    link/ether 02:03:e7:fc:dc:36 brd ff:ff:ff:ff:ff:ff
3: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN
    link/ether 86:f4:14:e3:1b:b2 brd ff:ff:ff:ff:ff:ff
4: xenbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN
    link/ether 02:03:e7:fc:dc:36 brd ff:ff:ff:ff:ff:ff
    inet 192.168.217.231/24 brd 192.168.217.255 scope global xenbr0
       valid_lft forever preferred_lft forever

 

创建ceph.conf

[root@ceph-231 ceph-cluster]# vi ceph.conf
[global]
fsid = a3b9b0aa-01ab-4e1b-bba3-6f5317b0795b
mon_initial_members = ceph-231
mon_host = 192.168.217.231
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public_network = 192.168.217.231


创建ceph.mon.keyring

可以通过ceph-authtool命令生成

[root@ceph-231 ceph-cluster]# ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
creating /tmp/ceph.mon.keyring
[root@ceph-231 ~]# cat /tmp/ceph.mon.keyring
[mon.]
        key = AQCzxEhZC7tICxAAuHK5GipD96enMuhv82CCLg==
        caps mon = "allow *"

将/tmp/ceph.mon.keyring内容复制到ceph.mon.keyring

[root@ceph-231 ceph-cluster]# vi ceph.mon.keyring
[mon.]
key = AQCzxEhZC7tICxAAuHK5GipD96enMuhv82CCLg==
caps mon = allow 

 

© 著作权归作者所有

共有 人打赏支持
banwh
粉丝 2
博文 55
码字总数 79966
作品 0
海淀
程序员
私信 提问
OSChina 技术周刊第九期 —— 每周技术精选,值得一看!

每周技术抢先看,总有你想要的! 移动开发 【翻译】介绍 Visual Studio 的 Android 模拟器 【博客】手机腾讯网mt框架之mtwebapp示例解析。 【博客】《Android深入透析》之常用设计模式经验谈...

OSC编辑部
2014/11/16
4K
4
架构设计:系统存储(27)——分布式文件系统Ceph(安装)

1. 概述 从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph,包括这款文件系统的安装、基本使用场景、常用管理命令和重要工作原理。特别是讨论了PaxOS算法的基本理后,就更容易理解Cep...

yinwenjie
2017/04/05
0
0
ubuntu14_ceph部署(一)——预检与安装规划

测试规划: 节点名称 系统发行版 IP 地址 部署进程 系统盘 数据盘/日志盘 普通账户 ceph1 ubuntu14.04 eth0 192.168.89.10 外网 eth1 10.0.0.10 ceph集群网 1MON+1MDS+2OSD、Ceph 部署工具 ...

科技小能手
2017/11/12
0
0
Centos7.4部署ceph块设备

在部署块设备前必须保证Ceph存储集群处于active+clean状态。 一. 环境准备 二. 安装CEPH 在管理节点上,通过 ceph-deploy 把 Ceph 安装到 ceph-client 节点。 [root@admin-node ceph]# ceph...

Zai坚强一点
2018/06/28
0
0
分布式存储Ceph的几种安装方法,源码,apt-get,deploy工具,Ubuntu CentOS

最近搞了下分布式PB级别的存储CEPH 尝试了几种不同的安装,使用 期间遇到很多问题,和大家一起分享。 一、源码安装 说明:源码安装可以了解到系统各个组件, 但是安装过程也是很费劲的,主要...

Yason_Luo
2014/04/04
0
1

没有更多内容

加载失败,请刷新页面

加载更多

WEB 开发总结

事务处理 事务的4个基本特征 1.Atomic(原子性),事务中包含的操作被看做是一个整体的业务单元,这个业务单元中的操作要么全部成功,要么全部失败,不会出现部分成功,部分失败的场景。 2....

北漂的我
6分钟前
0
0
thinkphp5 利用七牛云 将amr格式语音文件转为mp3

$card_id 是我的本地的文件 将问价名字的后缀名去掉注意access_token的有效期public function ceshi1($card_id){ $mediaid = substr($card_id, 0, -4); $accessKey = ...

小小小壮
10分钟前
0
0
数据区域之堆栈

java虚拟机在执行java程序的过程中会把它所管理的内存划分为若干个不同的数据区域, 这些区域都有各自的用途,创建和销毁时间 图: 程序计数器是一个较小的内存空间,它的作用可以看做是当前...

恋码之子
11分钟前
0
0
新的一年,来看看大数据与AI的未来展望

本文由云+社区发表 作者:堵俊平 在数据爆炸与智能革命的新时代,新的平台与应用层出不穷,开源项目推动了前沿技术和业界生态快速发展。本次分享将以技术和生态两大视角来看大数据和人工智能...

腾讯云加社区
12分钟前
1
0
死磕源码系列(ReentrantLock)

前言 在高并发领域,ReentrantLock有着广泛的用处,防止多线程带来的并发问题 对于源码,很多人和我一开始一样都觉得非常神秘 这次我将对ReentrantLock进行全方面的揭秘 核心 AbstractQueued...

石日天
12分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部