SQL 解析与执行流程

原创
01/08 17:25
阅读数 50

一、前言

在先前的技术博客中,我们已经详细介绍过数据库的 parser 模块与执行流程:用户输入的 SQL 语句通过词法解析器生成 token,再通过语法分析器生成抽象语法树(AST),经过 AST 生成对应的 planNode,最后执行 planNode。本期博客我们将以新增语法为例,重点介绍一条 SQL 语句需要历经的流程,以及如何自定义 SQL 语句和功能。

二、新增 SQL 语法

KaiwuDB 是通过 goyacc 解析 sql.y 中的代码生成 AST,而我们想要新增一个语法,则需要在 sql.y 中添加对应的关键字以及对应的语法解析规则,最后在代码中添加对应的语法节点以及功能实现。我们以创建时序数据库的语法 CREATE TS DATABASE xxx 为例,讲解如何添加新 SQL 语句,以及该语句的执行过程。

  1. 定义新的关键字

词法分析器是通过一个个关键字解析整条语句,所以第一步我们需要将整条语句涉及到的所有关键字定义完毕。

搜索 pkg/sql/parser/sql.y 文件,在文件中找到 %token(这个代表着定义的关键字),我们可以在这里看到已经有 CREATE 和 DATABASE 关键字,所以需要新增一个 TS 关键字。

Go
......
%token <str> TS
......

加好关键字后,我们还需定义其是保留关键字或是非保留关键字,非保留关键字可以作为标识符使用并在使用时需要加上双引号。所以,我们需要将 TS 加到非保留关键字里中。

Go
unreserved_keyword:
......
| TS
......

添加完毕后,词法分析器即可解析整条语句的所有关键字,接下来我们需要定义一个新的语法规则,使得语法解析器可以处理这条新的语句。

  1. 添加新的语法规则

新的语法首先要给它定义一个类型。在 sql.y 中,一条 SQL 语句的类型都是 %type <tree.Statement> 。

Go
......
%type <tree.Statement> create_ts_database_stmt
......

然后将该语法放到语法 case 列表中,这条语法属于 create_ddl_stmt 的一部分,我们将其放在 create_ddl_stmt 下方即可。

Go
create_ddl_stmt:
......
| create_ts_database_stmt  // EXTEND WITH HELP: CREATE TS_DATABASE
......

接下来需要为该语法添加对应的语法规则和帮助信息:

Go
// %Help: CREATE TS_DATABASE - create a new ts database
// %Category: DDL
// %Text: CREATE TS_DATABASE <name>
create_ts_database_stmt:
  CREATE TS DATABASE database_name{
    ......
  }
| CREATE TS DATABASE error // SHOW HELP: CREATE DATABASE

到这里,整个 parser 部分就可以识别这条新的语法并提示相应信息,但现在还没有添加具体的语法操作,所以整个语法还不能完全执行。

  1. 添加执行语法操作

在解析器可以成功解析语法后,我们需要添加对应的语义,来让整条 SQL 语句执行。而这一步就是生成一个抽象语法树(AST),将语句信息从 parser 阶段传到执行阶段。

在上文中我们将 create_ts_database_stmt 添加为 tree.Statement 类型,所以我们还需要实现 tree.Statement 类型的接口,其后还需要实现以下几个方法:

  • fmt.Stringer
  • NodeFormatter
  • StatementType()
  • StatementTag()
  • StatOp()
  • StatTargetType()

为此,所以首先要定义一个结构体,可以作为整条语句解析的返回值,用以实现上述的几种方法。对于我们想要添加的语句,可以复用原来的 CreateDatabase 结构体并在其中添加一个字段 EngineType 用来代表是否为时序数据库。该结构体已经实现了以上几种方法,但我们添加了新的语法,所以要在 Format 方法中将新的语法 Format 方式添加进去。

Go
// Format implements the NodeFormatter interface.
func (node *CreateDatabase) Format(ctx *FmtCtx) {
  ctx.WriteString("CREATE ")
  if node.EngineType == EngineTypeTimeseries {
   ctx.WriteString("TS ")
  }
  ......
}

接下来我们将 parser 部分补全,让它返回一个对应的 CreateDatabase 节点。

Go
// %Help: CREATE TS_DATABASE - create a new ts database
// %Category: DDL
// %Text: CREATE TS_DATABASE <name>
create_ts_database_stmt:
  CREATE TS DATABASE database_name{
    $$.val = &tree.CreateDatabase{
      Name: tree.Name($4),
      EngineType: 1,
    }
  }
| CREATE TS DATABASE error // SHOW HELP: CREATE DATABASE

至此,整条语句已经可以成功识别并执行。但由于我们是复用已有的 CreateDatabase 结构,所以执行流程还需要对应的修改。如果是新增一个新的结构体,我们需要在 plan.go 中新加一个 planNode,用于生成执行计划,

Go
var _ planNode = &createDatabaseNode{}


planNode 也有以下几个接口需要实现:

startExec(params runParams)

Next(params runParams)

Values()

Close(ctx context.Context)

在 buildOpaque 新增一个 case,用于执行时识别 AST 结构,生成对应的 planNode。

Go
......
switch n := stmt.(type) {
  case *tree.CreateDatabase:
    plan, err = p.CreateDatabase(ctx, n)
  ......

目前我们已有对应的 createDatabaseNode ,所以无需再新增。而在 CreateDatabase 中需要我们将 AST 转成 planNode,并需要做出语义上的检查与限制。

最后一步就是要定义如何执行整条语句,在 startExec 方法中,通过构建好的 planNode 去实现我们所需的语法功能。

Go
func (n *createDatabaseNode) startExec(params runParams) error {
    ......
}

至此,新增的该语法功能已实现。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部