文档章节

ceph-deploy源码分析(一)——源码结构与cli <转>

banwh
 banwh
发布于 2017/08/23 12:57
字数 1809
阅读 10
收藏 0
点赞 0
评论 0

ceph-deploy源码分析(一)——源码结构与cli

 原文:http://www.hl10502.com/2017/06/15/ceph-deploy-cli/#more

ceph-deploy是部署Ceph集群的工具,可以通过SSH方式往远程主机上安装 Ceph 软件包、创建集群、增加监视器、收集(或销毁)密钥、增加 OSD 和元数据服务器、配置管理主机,甚至拆除集群。

ceph-deploy使用Python开发,GitHub为 https://github.com/ceph/ceph-deploy。本次源码分析的ceph-deploy版本为1.5.37。

 

源码结构

ceph-deploy-1.5.37源码目录

├── ceph_deploy # ceph-deploy源码目录
├── ceph_deploy.egg-info # egg-info目录
├── CONTRIBUTING.rst # 贡献指南
├── LICENSE # MIT LICENSE
├── MANIFEST.in # 打包规则
├── PKG-INFO # PKG-INFO文件
├── README.rst # ceph-deploy介绍
├── scripts # 启动脚本目录
├── setup.cfg # setup.py配置
├── setup.py # ceph-deploy安装脚本
├── tox.ini # 标准化测试
└── vendor.py


ceph_deploy源码目录文件

├── admin.py # 子命令admin模块,将ceph.conf和client.admin key push到远程主机
├── calamari.py # 子命令calamari模块,连接calamari master
├── cli.py # CLI入口
├── cliutil.py # 为装饰器函数增加priority
├── conf # ceph.conf与cephdeploy.conf读取与写入相关操作目录
├── config.py # 子命令config模块,push ceph.conf文件到远程主机;从远程主机 pull ceph.conf文件
├── connection.py # 连接本地主机、远程主机
├── exc.py # 异常处理Error
├── forgetkeys.py # 子命令forgetkeys模块,本地移除authentication keys
├── gatherkeys.py # 子命令gatherkeys模块,从mon主机上拉取authentication keys
├── hosts # ceph-deploy在不同操作系统(centos、debian、fedora、rhel、suse)的操作
├── __init__.py # 初始化版本号信息,当前版本1.5.37
├── install.py # 子命令install模块,安装、卸载ceph包,清除数据
├── lib # vendor类库
├── mds.py # 子命令mds模块,mds管理
├── misc.py # 其他工具类,比如:mon host组装tuples
├── mon.py # 子命令mon模块,mon管理
├── new.py # 子命令new模块,部署集群
├── osd.py # 子命令osd模块,osd管理
├── pkg.py # 子命令pkg模块,逗号分隔的包安装、卸载
├── repo.py # 子命令repo模块,添加 yum repo
├── rgw.py # 子命令rgw模块,rgw管理
├── tests # 测试文件目录
├── util # util目录
└── validate.py # 参数校验函数


 

源码入口

script目录下的ceph-deploy文件是ceph-deploy的入口,安装之后是/usr/bin/ceph-deploy。

ceph-deploy的__main__函数调用ceph_deploy.cli的main函数

...
...
from ceph_deploy.cli import main

if __name__ == '__main__':
    sys.exit(main())


 

cli模块

cli.py是命令行操作模块。

main函数调用_main函数

def main(args=None, namespace=None):                                  
    try:                                                              
        _main(args=args, namespace=namespace)                         
    finally:                                                          
        # This block is crucial to avoid having issues with           
        # Python spitting non-sense thread exceptions. We have already
        # handled what we could, so close stderr and stdout.          
        if not os.environ.get('CEPH_DEPLOY_TEST'):                    
            try:                                                      
                sys.stdout.close()                                    
            except:                                                   
                pass                                                  
            try:                                                      
                sys.stderr.close()                                    
            except:                                                   
                pass                                                  


_main函数

  • 设置日志:Console Logger与File Logger添加到root_logger
  • 调用argparse模块,解析cli参数
  • 调用conf目录下的ceph-deploy模块set_overrides函数,从当前目录的cephdeploy.conf或~/.cephdeploy.conf文件获取ceph-deploy-global、ceph-deploy-[subcmd]配置项写入args
  • 调用执行subcmd相应的模块
  • @catches((KeyboardInterrupt, RuntimeError, exc.DeployError,), handle_all=True)        
    def _main(args=None, namespace=None):                                                 
        # Set console logging first with some defaults, to prevent having exceptions      
        # before hitting logging configuration. The defaults can/will get overridden      
        # later.                                                                          
                                                                                          
        # Console Logger
        # 命令行控制台日志                                                              
        sh = logging.StreamHandler()
        # 不同级别的日志,使用不同的颜色区别:DEBUG蓝色;WARNIN黄色;ERROR红色;INFO白色                                                      
        sh.setFormatter(log.color_format())
        # 设置日志级别为WARNING                                               
        sh.setLevel(logging.WARNING)                                                      
                                                                                          
        # because we're in a module already, __name__ is not the ancestor of              
        # the rest of the package; use the root as the logger for everyone
        # root_logger日志                
        root_logger = logging.getLogger()                                                 
                                                                                          
        # allow all levels at root_logger, handlers control individual levels 
        # 设置root_logger日志级别为DEBUG            
        root_logger.setLevel(logging.DEBUG)
        # 将 sh添加到root_logger                                               
        root_logger.addHandler(sh)                                                        
        
        # 获取解析cli的argparse,调用argparse模块                                                                                  
        parser = get_parser()                                                             
        if len(sys.argv) < 2:                                                             
            parser.print_help()                                                           
            sys.exit()                                                                    
        else:   
            # 解析获取sys.argv中的ceph-deploy子命令和参数                                                                          
            args = parser.parse_args(args=args, namespace=namespace)                      
        
        # 设置日志级别                                                                                  
        console_loglevel = logging.DEBUG  # start at DEBUG for now                        
        if args.quiet:                                                                    
            console_loglevel = logging.WARNING                                            
        if args.verbose:                                                                  
            console_loglevel = logging.DEBUG                                              
                                                                                          
        # Console Logger                                                                   
        sh.setLevel(console_loglevel)                                                     
                                                                                          
        # File Logger
        # 文件日志                                                                     
        fh = logging.FileHandler('ceph-deploy-{cluster}.log'.format(cluster=args.cluster))
        fh.setLevel(logging.DEBUG)                                                        
        fh.setFormatter(logging.Formatter(log.FILE_FORMAT))  
        
        # 将 fh添加到root_logger
        root_logger.addHandler(fh)                                                
                                                                              
        # Reads from the config file and sets values for the global               
        # flags and the given sub-command                                         
        # the one flag that will never work regardless of the config settings is  
        # logging because we cannot set it before hand since the logging config is
        # not ready yet. This is the earliest we can do.
        # 从当前目录的cephdeploy.conf或~/.cephdeploy.conf文件获取ceph-deploy配置覆盖命令行参数                          
        args = ceph_deploy.conf.cephdeploy.set_overrides(args)                    
                                                                              
        LOG.info("Invoked (%s): %s" % (                                           
            ceph_deploy.__version__,                                              
            ' '.join(sys.argv))                                                   
        )                                                                         
        log_flags(args)                                                           
        # args.func为cli中的subcmd子命令,调用相应的模块                                                                      
        return args.func(args)                                                                                 

     

get_parser函数

[ceph_deploy.cli]以以下方式配置:

模块名 = 模块包名:执行函数

比如: new = ceph_deploy.new:make
new作为ceph-deploy的子命令,执行ceph-deploy new命令时,执行make函数

其他的模块也类似:
mon = ceph_deploy.mon:make
osd = ceph_deploy.osd:make
rgw = ceph_deploy.rgw:make
mds = ceph_deploy.mds:make
config = ceph_deploy.config:make

 

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

 

def get_parser():

# 调用argparse模块

parser = argparse.ArgumentParser(

prog='ceph-deploy',

formatter_class=argparse.RawDescriptionHelpFormatter,

description='Easy Ceph deployment\n\n%s' % __header__,

)

verbosity = parser.add_mutually_exclusive_group(required=False)

verbosity.add_argument(

'-v', '--verbose',

action='store_true', dest='verbose', default=False,

help='be more verbose',

)

verbosity.add_argument(

'-q', '--quiet',

action='store_true', dest='quiet',

help='be less verbose',

)

parser.add_argument(

'--version',

action='version',

version='%s' % ceph_deploy.__version__,

help='the current installed version of ceph-deploy',

)

parser.add_argument(

'--username',

help='the username to connect to the remote host',

)

parser.add_argument(

'--overwrite-conf',

action='store_true',

help='overwrite an existing conf file on remote host (if present)',

)

parser.add_argument(

'--cluster',

metavar='NAME',

help='name of the cluster',

type=validate.alphanumeric,

)

parser.add_argument(

'--ceph-conf',

dest='ceph_conf',

help='use (or reuse) a given ceph.conf file',

)

sub = parser.add_subparsers(

title='commands',

metavar='COMMAND',

help='description',

)

sub.required = True

# 获取ceph_deploy.cli下的entry_points

entry_points = [

(ep.name, ep.load())

for ep in pkg_resources.iter_entry_points('ceph_deploy.cli')

]

# 根据priority排序

entry_points.sort(

key=lambda name_fn: getattr(name_fn[1], 'priority', 100),

)

# 将模块加入到子命令

for (name, fn) in entry_points:

p = sub.add_parser(

name,

description=fn.__doc__,

help=fn.__doc__,

)

if not os.environ.get('CEPH_DEPLOY_TEST'):

p.set_defaults(cd_conf=ceph_deploy.conf.cephdeploy.load())

# flag if the default release is being used

p.set_defaults(default_release=False)

fn(p)

p.required = True

parser.set_defaults(

cluster='ceph',

)

return parser

argparse模块

cli命令的解析使用了argparse.py模块。argparse是Python标准库中命令行选项、参数和子命令的解析器,其是为替代已经过时的optparse模块,argparse在Python2.7中被引入。

argparse模块请参考
https://docs.python.org/2.7/library/argparse.html
http://python.usyiyi.cn/translate/python_278/library/argparse.html

set_overrides函数

conf目录下的ceph-deploy模块set_overrides函数

  • 调用load()函数
  • 判断ceph-deploy配置文件ceph-deploy-global、ceph-deploy-[subcommand]配置项,调用override_subcommand()函数写入args。
     

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    16

    17

    18

    19

    20

    21

    22

     

    def set_overrides(args, _conf=None):

    """

    Read the configuration file and look for ceph-deploy sections

    to set flags/defaults from the values found. This will alter the

    ``args`` object that is created by argparse.

    """

    # Get the subcommand name to avoid overwritting values from other

    # subcommands that are not going to be used

    subcommand = args.func.__name__

    command_section = 'ceph-deploy-%s' % subcommand

    # 加载ceph-deploy配置

    conf = _conf or load()

    for section_name in conf.sections():

    if section_name in ['ceph-deploy-global', command_section]:

    # ceph-deploy-global、ceph-deploy-[subcommand]配置项写入args

    override_subcommand(

    section_name,

    conf.items(section_name),

    args

    )

    return args

load函数,调用location()函数

 

1

2

3

4

5

 

def load():

parser = Conf()

# 读取解析ceph-deploy配置文件

parser.read(location())

return parser

 

location函数,调用_locate_or_create()函数

 

1

2

3

4

5

6

 

def location():

"""

Find and return the location of the ceph-deploy configuration file. If this

file does not exist, create one in a default location.

"""

return _locate_or_create()

 

_locate_or_create函数,判断当前目录的cephdeploy.conf或~/.cephdeploy.conf文件是否存在。

  • 如果都不存在则调用create_stub函数创建一个~/.cephdeploy.conf文件。这个文件是根据模板创建的,内容为空。
  • 如果存在(提前创建)cephdeploy.conf或~/.cephdeploy.conf文件,可以在文件中配置public_network、cluster_network、overwrite-conf等。
     

    1

    2

    3

    4

    5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

     

    def _locate_or_create():

    home_config = path.expanduser('~/.cephdeploy.conf')

    # With order of importance

    locations = [

    path.join(os.getcwd(), 'cephdeploy.conf'),

    home_config,

    ]

    for location in locations:

    if path.exists(location):

    logger.debug('found configuration file at: %s' % location)

    return location

    logger.info('could not find configuration file, will create one in $HOME')

    create_stub(home_config)

    return home_config

© 著作权归作者所有

共有 人打赏支持
banwh
粉丝 1
博文 52
码字总数 78166
作品 0
海淀
程序员
Qemu打开rbd镜像的源码分析

Ceph 0.94.1 Qemu 2.4.0 rbd.c 在qemurbdopen函数中,操作了一个重要的数据结构——结构体BDRVRBDState,这个结构体保存了非常重要的信息。 typedef struct BDRVRBDState { rados_t cluster;...

wikison ⋅ 2015/11/03 ⋅ 0

OSChina 技术周刊第九期 —— 每周技术精选,值得一看!

每周技术抢先看,总有你想要的! 移动开发 【翻译】介绍 Visual Studio 的 Android 模拟器 【博客】手机腾讯网mt框架之mtwebapp示例解析。 【博客】《Android深入透析》之常用设计模式经验谈...

OSC编辑部 ⋅ 2014/11/16 ⋅ 4

Ceph部署问题汇总

1、在不同节点安装ceph时,出现以下异常: 参考这里 ceph deploy RuntimeError: NoSectionError: No section: 'ceph' 解决方法: 在报错的机器上尝试: yum remove ceph-release rm /etc/yu...

Zai坚强一点 ⋅ 2017/09/17 ⋅ 0

Linux 文件系统修复

1.问题引出 在Linux操作系统下,安装ceph分布式存储系统,在安装OSD时,执行了一条命令: 1 ceph-deploy disk zap osdnode1:/dev/sda3 命令执行失败,日志如下: 1 2 3 4 5 6 7 8 9 10 11 12...

西昆仑 ⋅ 2015/08/27 ⋅ 0

ubuntu14_ceph部署(一)——预检与安装规划

测试规划: 节点名称 系统发行版 IP 地址 部署进程 系统盘 数据盘/日志盘 普通账户 ceph1 ubuntu14.04 eth0 192.168.89.10 外网 eth1 10.0.0.10 ceph集群网 1MON+1MDS+2OSD、Ceph 部署工具 ...

科技小能手 ⋅ 2017/11/12 ⋅ 0

Ceph安装--jewel版本

软件环境 系统:Centos7.2 Ceph版本:jewel 10.2.1 主机 ip 主机名 ceph1 192.168.13.212 bdc212 ceph2 192.168.13.213 bdc213 ceph3 192.168.13.214 bdc214 系统环境配置 1.1 修改主机名 # ......

哓竹 ⋅ 2016/06/16 ⋅ 0

架构设计:系统存储(27)——分布式文件系统Ceph(安装)

1. 概述 从本篇文章开始介绍一款现在非常火的分布式文件系统Ceph,包括这款文件系统的安装、基本使用场景、常用管理命令和重要工作原理。特别是讨论了PaxOS算法的基本理后,就更容易理解Cep...

yinwenjie ⋅ 2017/04/05 ⋅ 0

欢迎进入Hensen_的博客目录(全站式导航)

Android基础 Java基础 Java基础——Java内存模型和垃圾回收机制 语法基础 语法基础——C语法基础 语法基础——C++语法基础 语法基础——Objective-C语法基础 语法基础——PHP语法基础 面试复...

qq_30379689 ⋅ 2016/09/23 ⋅ 0

Apache Commons CLI命令行启动

今天又看了下Hangout的源码,一般来说一个开源项目有好几种启动方式——比如可以从命令行启动,也可以从web端启动。今天就看看如何设计命令行启动... Apache Commons CLI Apache Commons CLI...

青夜之衫 ⋅ 2017/12/05 ⋅ 0

分布式存储Ceph的几种安装方法,源码,apt-get,deploy工具,Ubuntu CentOS

最近搞了下分布式PB级别的存储CEPH 尝试了几种不同的安装,使用 期间遇到很多问题,和大家一起分享。 一、源码安装 说明:源码安装可以了解到系统各个组件, 但是安装过程也是很费劲的,主要...

Yason_Luo ⋅ 2014/04/04 ⋅ 1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

看东方明珠新媒体如何基于阿里视频云,构建完整的视频OTT平台SaaS服务

摘要: 东方明珠新媒体如何基于阿里云,搭建了面向第三方的视频SaaS服务?6月8日,上海云栖大会视频专场中,东方明珠新媒体股份有限公司云计算中心的副总周少毅带来了《东方明珠视频云》为题...

阿里云云栖社区 ⋅ 24分钟前 ⋅ 0

C#调用WebService实例和开发 VS2013

简单的理解就是:webservice就是放在服务器上的函数,所有人都可以调用,然后返回信息。 Web Service的主要目标是跨平台的可互操作性。为了实现这一目标,Web Service 完全基于XML(可扩展标...

布衣大侠 ⋅ 27分钟前 ⋅ 0

基于FlumeNG+Kafka+ElasticSearch+Kibana的日志系统

环境准备 1.服务器概览 hostname ip 操作系统 说明 安装内容 node1.fek 192.168.2.161 centos 7 node1节点 nginx,jdk1.8, flumeNG, elasticsearch slave1 node2.fek 192.168.2.162 centos ......

张shieppp ⋅ 27分钟前 ⋅ 0

问答网站已成过去,深度问答社区才是当下

曾几何时,各类问答网站数不胜数,从百度知道这类综合型问答网站到各种垂直细分的问答网站,都有不少,但到了移动互联网时代,很明显的一大趋势是,网站整体的流量都在下滑,随着移动智能设备...

ThinkSNS账号 ⋅ 30分钟前 ⋅ 0

Android平台架构(ART)

Android平台架构(ART) 本文目的:准确表述Android平台架构 本文转载自[Android官网] 本文定位:学习笔记 学习过程记录,加深理解。也希望能给学习的同学一些灵感 本文更新时间:2018.06.22(...

lichuangnk ⋅ 32分钟前 ⋅ 0

看东方明珠新媒体如何基于阿里视频云,构建完整的视频OTT平台SaaS服务

摘要: 东方明珠新媒体如何基于阿里云,搭建了面向第三方的视频SaaS服务?6月8日,上海云栖大会视频专场中,东方明珠新媒体股份有限公司云计算中心的副总周少毅带来了《东方明珠视频云》为题...

猫耳m ⋅ 33分钟前 ⋅ 0

Java 动态代理 原理解析

概要 AOP的拦截功能是由java中的动态代理来实现的。说白了,就是在目标类的基础上增加切面逻辑,生成增强的目标类(该切面逻辑或者在目标类函数执行之前,或者目标类函数执行之后,或者在目标...

轨迹_ ⋅ 36分钟前 ⋅ 0

js 获取当前时间

var myDate = new Date();myDate.getYear(); //获取当前年份(2位)myDate.getFullYear(); //获取完整的年份(4位,1970-????)myDate.getMonth(); //获取当前月份(0-11,0代表1月)myDate...

夜醒者 ⋅ 42分钟前 ⋅ 0

windows删除或修改本地Git保存的账号密码

在win10或者win7都是一样的步骤: (一)进入控制面板(二)选择用户账户(三)选择管理你的凭据(四)选择Windows凭据(五)选择git保存的用户信息(六)选择编辑或者进...

果树啊 ⋅ 42分钟前 ⋅ 0

8个基本的Docker容器管理命令

前言: 在这篇文章中,我们将带你学习 8 个基本的 Docker 容器命令,它们操控着 Docker 容器的基本活动,例如 运行run、 列举list、 停止stop、 查看历史纪录logs、 删除delete 等等。文末福...

java高级架构牛人 ⋅ 43分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部