文档章节

Shell主要逻辑源码级分析(1)——SHELL运行流程

偶素浅小浅
 偶素浅小浅
发布于 2016/11/01 17:47
字数 3400
阅读 103
收藏 0

版权声明:本文由李航原创文章,转载请注明出处: 
文章原文链接:https://www.qcloud.com/community/article/109

来源:腾云阁 https://www.qcloud.com/community

本文的目的:分享一下在学校的时候分析shell源码的一些收获,帮助大家了解shell的一个工作流程,从软件设计的角度,看看shell这样一个历史悠久的软件的一些设计优点和缺陷。本文重点不是讲SHELL语法,相信很多同事玩shell都很熟了。

本文的局限:限于本人技术水平和时间,肯定有不少错误和遗漏的地方,在当时的源码注释的过程中,也确实会有一直都不理解和存疑的地方,还请指正。但总的来说,主要逻辑和流程还是可以理清的。

分析的版本:首先选用最常用的bash,然后版本是bash4.2-release

bash代码简介:之前做过一个统计,shell源码大概有10万行,其中核心逻辑在1万多行,这也是分析的目标代码。剩下的包括引入的readline库(也是个开源库,处理输入的),yacc语法分析器生成工具(开源库,相信很多学过编译原理的都知道这东西),以及很多为提高用户界面友好性做得优化和辅助代码(比如!的历史操作)。

建议:在了解shell运行机制的同时,从软件设计的角度来看他,会发现有很多可以优化和改进的地方(当然,因为shell本身是从比较久远的年代发展而来,各种历史因素相关),特别是,读了下面内容的同学应该可以发现,命令解析那一块,用C++的OO思想可以合理的设计命令的类层次结构,大大简化代码量和逻辑,有兴趣的同学甚至可以自己动手写来试试替换掉这一部分。

一.启动过程

shell.c是shell主函数main所在文件。因此shell的启动可以认为从shell.c文件开始。main函数完成的主要工作流程是包括:检查启动的运行环境(是否通过sshd启动,是否运行于emacs环境下,是否运行于cgywin环境下,是否是交互式shell,是否是login shell等,对系统进行内存泄露检查,是否是受限shell),读取配置文件(顺序为/etc/profile and~/.bash_profile OR ~/.bash_login OR ~/.profile)前面的存在不会读后面的),设置运行需要的全局变量的值(当前环境变量、shell的名称、启动时间、输入输出文件描述符、语言本地化的相关设置),处理参数和选项(即带有-c -s --debugger等参数和选项),设置参数和选项的值(run_shopt_alist ()函数调用shopt_setopt函数设置选项的值;绑定$位置参数的值),然后根据不同的启动参数进入以下不同分支:

  1. 如果是只进行参数扩展而不执行命令,调用run_wordexp函数扩展参数,然后调用exit_shell (last_command_exit_value)函数以上次命令执行的返回值为返回值退出。

  2. 如果是以-c参数模式启动shell,分为两种情况:一:如果是附带了字符串参数作为要执行的命令,则调用run_one_command (command_execution_string)执行-c附带的命令,参数command_execution_string保存-c后面附带的字符串命令值。执行完毕后调用exit_shell (last_command_exit_value)退出。二:如果是期待用户输入要执行的命令,则跳转到分支3。

  3. shell_initialized置为1表示shell初始化完成。调用eval.c中定义的函数reader_loop()不断的读取和解析用户输入,如果reader_loop函数返回,则调用exit_shell(last_command_exit_value)退出shell。

二.命令解析和执行流程

1. 主要相关文件

Eval.c

Command.h

Copy_cmd.c

Execute_cmd.c

Make_cmd.c

2. shell命令结构:

shell中用如下结构体来表示一个命令。

typedef struct command {

  enum command_type type;   /* 命令的类型 */

  int flags;                /* 标记位,将影响命令的执行环境 */

  int line;                 /* 命令从哪一行开始 */

  REDIRECT *redirects;      /*关联的重定向操作*/


  union {/*以下是一个联合value,保存具体的“命令体”,可能是for循环,case条件,

while循环等,union结构体的特征是只有一个值是有效的,因此以下命令种类是并列的,后

面有每一种命令类型的注释*/

    struct for_com *For;

    struct case_com *Case;

    struct while_com *While;

    struct if_com *If;

    struct connection *Connection;

    struct simple_com *Simple;

    struct function_def *Function_def;

    struct group_com *Group;

#if defined (SELECT_COMMAND)

    struct select_com *Select;

#endif

#if defined (DPAREN_ARITHMETIC)

    struct arith_com *Arith;

#endif

#if defined (COND_COMMAND)

    struct cond_com *Cond;

#endif

#if defined (ARITH_FOR_COMMAND)

    struct arith_for_com *ArithFor;

#endif

    struct subshell_com *Subshell;

    struct coproc_com *Coproc;

  } value;

} COMMAND;

其中一个很关键的成员是联合union类型value,它指出了该命令的类型,也给出了保存命令具体内容的指针。从该结构的可选值来看,shell定义的命令共有for循环、case条件、while循环、函数定义、协同异步命令等14种。

其中,经过对所有命令执行路径的分析,确定类型为simple的command是经过命令替换后的最原子的命令操作,其余类型的命令都是由若干simple command构成的。

在shell启动之后,无论是进入上面的2和3两个分支中的哪一个,最后解析命令所用到的函数都是execute_cmd.c中定义的函数。分支1不涉及到命令的解析,所以不在这里分析。

3. 分支2的第一种情况:

run_one_command (command_execution_string) 执行的过程中调用parse_and_execute (在evalstring.c中定义)解析与执行命令,parse_and_execute中实际调用execute_command_internal函数进行命令的执行。

4. 分支2的第二种情况和分支3:

reader_loop函数调用read_command函数解析命令,read_command函数调用parse_command()函数进行语法分析,parse_command()调用语法分析器y.tab.c中的yyparse()(该函数由yyac自动生成,因此不再往函数内部跟进),将解析结果的命令字符串保存在全局变量GLOBAL_COMMAND中,然后执行execute_command函数(定义在execute_cmd.c中),execute_command函数再调用execute_command_internal函数进行命令的执行。至此分支2和分支3的情况又合并到execute_command_internal的执行上。

5. execute_command_internal内部流程:

该函数是shell源码中执行命令的实际操作函数。他需要对作为操作参数传入的具体命令结构的value成员进行分析,并针对不同的value类型,再调用具体类型的命令执行函数进行具体命令的解释执行工作。

具体来说:如果value是simple,则直接调用execute_simple_command函数进行执行,execute_simple_command再根据命令是内部命令或磁盘外部命令分别调用execute_builtinexecute_disk_command来执行,其中,execute_disk_command在执行外部命令的时候调用make_child函数fork子进程执行外部命令。

如果value是其他类型,则调用对应类型的函数进行分支控制。举例来说,如果是value是for_commmand,即这是一个for循环控制结构命令,则调用execute_for_command函数。在该函数中,将枚举每一个操作域中的元素,对其再次调用execute_command函数进行分析。即execute_for_command这一类函数实现的是一个命令的展开以及流程控制以及递归调用execute_command的功能。

因此,从main函数启动到命令执行的主要流程图可以表现为下图所示:

6. 从启动到命令解释的函数级流程图:

括号内为函数定义所在的文件。

三. 变量控制

1. 主要相关文件

variables.c

variables.h

2. 重要数据结构

BASH中主要通过变量上下文和变量两个结构体来描述一个变量结构。以下分别介绍。

变量上下文:上下文又可以理解为作用域,可以比照C语言中的函数作用域,全局作用域来理解。一个上下文中的变量都是在这个上下文中可见的。
变量上下文结构定义:


typedef struct var_context {

  char *name;           /* name如果为空则表示它存储的是bash全局上下文,否则表示名为name的函数的局部上下文*/

  int scope;         /*上下文在调用栈中的层数,0代表全局上下文 ,每深入一层函数调用scope递增1*/

  int flags;  /*标志位集合flags记录该上下文是否为局部的、是否属于函数、是否属于内部命令,或者是不是临时建立的等信息*/

  struct var_context *up; /* 指向函数调用栈中上一个上下文*/

  struct var_context *down;   /*指向函数调用栈中下一个上下文*/

  HASH_TABLE *table;    /* 同一上下文中的所有变量集合hash表,即名值对 */

} VAR_CONTEXT;

描述一个变量的作用域的结构体。一个上下文中的所有变量,存放在var_context的table成员中。

变量:bash中的变量不强调类型,可以认为都是字符串。其存储结构如下

typedef struct variable {

  char *name;                  /*指向变量的名 */

  char *value;                  /*指向变量的值*/

  char *exportstr;            /*指向一个形如“名=值”的字符串*/

  sh_var_value_func_t *dynamic_value;    /* 如果是要返回一个动态值的函数,比如$SECONDS       或者$RANDOM,则函数指针指向生成该值的函数。*/

  sh_var_assign_func_t *assign_func; /* 如果是特殊变量被赋值时需要调用的回调函数,则其函数指针值保存在这里

*/

  int attributes;         /* 只读,可见等属性*/

  int context;                    /*记录该上下文变量属于可访问的作用域内局部变量
栈的哪一层*/

} SHELL_VAR;

由于所有变量笼统的由字符串来表示,因此提供了attributes属性成员来修饰变量的特性,比如属性可以是att_readonly表示只读,att_array表示是数组变量,att_function表示是个函数,att_integer表示是整型类变量等等。

3. 作用机理

shell程序的执行伴随着一个个上下文的切换,shell源码中的变量控制也是基于这一点。将变量绑定于一个一个的上下文中。

举例来说,一开始默认存在的是全局上下文,这里称为global,其中包含有由main函数的参数或者配置文件传入的变量值。如果这时进入了一个函数foo的执行中,则foo先从全局上下文获取要导出的变量,加上自己新增的变量,构成foo的上下文局部变量,将foo的上下文压入调用栈。这时调用栈看起来如下所示。

  • 栈顶 :foo上下文(包含foo上下文的所有局部变量)

  • 栈底:global全局上下文(包含所有全局变量)

为了解释更详细的情况,假设在foo中又调用了fun函数,则fun先从foo中获取要导出的变量,加上自己新增的变量,构成fun的上下文局部变量,然后将fun的上下文压入调用栈的栈顶

。这是调用栈看起来如下所示。

  • 栈顶 :fun上下文(包含fun上下文的所有局部变量)

  • 栈中 :foo上下文(包含foo上下文的所有局部变量)

  • 栈底:global全局上下文(包含所有全局变量)

此时假设fun函数执行完毕,则将fun上下文从栈中pop出,局部变量全部失效。调用栈又变成如下所示。

  • 栈顶 :foo上下文(包含foo上下文的所有局部变量)

  • 栈底:global全局上下文(包含所有全局变量)

变量的查找顺序:从栈顶往栈底,即如果栈顶上下文中没有要查找的变量,则查找其在栈中的下一个上下文,如果整个调用栈查找完毕也没有找到,则查找失败。举例来说,如果在栈顶上下文中有PWD变量(当前工作路径),就不会去查找全局的PWD变量,这保证了局部变量覆盖的正确语义。

4. 特殊变量:

bash中定义了若干特殊变量,特殊变量的意思是在该变量被修改后需要做一些额外的连贯工作。比如表示时区的变量TZ被修改了之后需要调用tzset函数修改系统中相应的时区设置。bash给这一类变量提供了一个回调函数接口,供其值发生改变的情况下来调用该回调函数。这可以类比数据库中的触发器机制。在bash中,特殊变量保存在一个全局数组special_vars中。其定义如下:


struct name_and_function {

            char *name;/*变量名*/

            sh_sv_func_t *function;/*变量值修改时要触发的回调函数的函数指针*/

};

该结构表示一个特殊变量结构,用于生成specialvars数组。回调函数一般是sv变量名的命名方式。

static struct name_and_function special_vars[] = {

  { "BASH_XTRACEFD", sv_xtracefd },

#if defined (READLINE)

#  if defined (STRICT_POSIX)

  { "COLUMNS", sv_winsize },

#  endif

  { "COMP_WORDBREAKS", sv_comp_wordbreaks },

#endif

  { "FUNCNEST", sv_funcnest },

  { "GLOBIGNORE", sv_globignore },

#if defined (HISTORY)

  { "HISTCONTROL", sv_history_control },

  { "HISTFILESIZE", sv_histsize },

  { "HISTIGNORE", sv_histignore },

  { "HISTSIZE", sv_histsize },

  { "HISTTIMEFORMAT", sv_histtimefmt },

#endif

#if defined (__CYGWIN__)

  { "HOME", sv_home },

#endif

#if defined (READLINE)

  { "HOSTFILE", sv_hostfile },

#endif

  { "IFS", sv_ifs },

  { "IGNOREEOF", sv_ignoreeof },

  { "LANG", sv_locale },

  { "LC_ALL", sv_locale },

  { "LC_COLLATE", sv_locale },

  { "LC_CTYPE", sv_locale },

  { "LC_MESSAGES", sv_locale },

  { "LC_NUMERIC", sv_locale },

  { "LC_TIME", sv_locale },

#if defined (READLINE) && defined (STRICT_POSIX)

  { "LINES", sv_winsize },

#endif

  { "MAIL", sv_mail },

  { "MAILCHECK", sv_mail },

  { "MAILPATH", sv_mail },

  { "OPTERR", sv_opterr },

  { "OPTIND", sv_optind },

  { "PATH", sv_path },

  { "POSIXLY_CORRECT", sv_strict_posix },

#if defined (READLINE)

  { "TERM", sv_terminal },

  { "TERMCAP", sv_terminal },

  { "TERMINFO", sv_terminal },

#endif /* READLINE */

  { "TEXTDOMAIN", sv_locale },

  { "TEXTDOMAINDIR", sv_locale },

#if defined (HAVE_TZSET) && defined (PROMPT_STRING_DECODE)

  { "TZ", sv_tz },

#endif

#if defined (HISTORY) && defined (BANG_HISTORY)

  { "histchars", sv_histchars },

#endif /* HISTORY && BANG_HISTORY */

  { "ignoreeof", sv_ignoreeof },

  { (char *)0, (sh_sv_func_t *)0 }

};

本文转载自:

偶素浅小浅
粉丝 8
博文 202
码字总数 0
作品 0
信阳
私信 提问
Shell主要逻辑源码级分析 (2)——SHELL作业控制

版权声明:本文由李航原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/110 来源:腾云阁 https://www.qcloud.com/community 作业控制本身也是基于进程控...

偶素浅小浅
2016/11/01
91
0
Linux/Unix好书推荐

整理了下Linux/Unix的书单,共16本,有Linux综合性入门和进阶4本,Linux Shell 2本,Linux内核相关的3本,Kail Linux 2本,还有1本Linux之父自传,最后推荐了1本Unix内核和3本Unix经典书。需...

图灵教育
2016/09/26
0
0
Quartz与Spring集成——QuartzSchedulerThread的执行分析

前言 前面说过当paused设置为false,QuartzSchedulerThread才正式启动,我们接着《Quartz与Spring集成——创建调度器》与《Quartz与Spring集成——启动调度器》中QuartzSchedulerThread启动的...

beliefer
2016/09/09
0
0
脚本运行控制

Linux通过信号在运行在系统的进程之间通信,用信号来停止启动及无条件终止进程。同样也可以用信号来控制shell脚本的运行。 1.Linux系统信号 Linux系统和应用程序可以生成30多个信号,最常见的...

Caishu
2016/05/20
341
0
Linux shell基础和变量

0x00、shell shell是一个命令解释器,它为用户提供一个向linux内核发送请求以便运行程序的界面系统即程序,用户可以用shell来启动、挂起、停止甚至是编写一些程序。 硬件——内核——shell命...

wt7315
2016/10/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

mysql-connector-java升级到8.0后保存时间到数据库出现了时差

在一个新项目中用到了新版的mysql jdbc 驱动 <dependency>     <groupId>mysql</groupId>     <artifactId>mysql-connector-java</artifactId>     <version>8.0.18</version> ......

ValSong
今天
5
0
Spring Boot 如何部署到 Linux 中的服务

打包完成后的 Spring Boot 程序如何部署到 Linux 上的服务? 你可以参考官方的有关部署 Spring Boot 为 Linux 服务的文档。 文档链接如下: https://docs.ossez.com/spring-boot-docs/docs/r...

honeymoose
今天
6
0
Spring Boot 2 实战:使用 Spring Boot Admin 监控你的应用

1. 前言 生产上对 Web 应用 的监控是十分必要的。我们可以近乎实时来对应用的健康、性能等其他指标进行监控来及时应对一些突发情况。避免一些故障的发生。对于 Spring Boot 应用来说我们可以...

码农小胖哥
今天
8
0
ZetCode 教程翻译计划正式启动 | ApacheCN

原文:ZetCode 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远。 ApacheCN 学习资源 贡献指南 本项目需要校对,欢迎大家提交 Pull Request。 ...

ApacheCN_飞龙
今天
5
0
CSS定位

CSS定位 relative相对定位 absolute绝对定位 fixed和sticky及zIndex relative相对定位 position特性:css position属性用于指定一个元素在文档中的定位方式。top、right、bottom、left属性则...

studywin
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部