文档章节

使用golang写一个redis-cli

liangwt
 liangwt
发布于 10/08 19:23
字数 2680
阅读 2843
收藏 49

使用golang写一个redis-cli

0. redis通信协议

redis的客户端(redis-cli)和服务端(redis-server)的通信是建立在tcp连接之上, 两者之间数据传输的编码解码方式就是所谓的redis通信协议。所以,只要我们的redis-cli实现了这个协议的解析和编码,那么我们就可以完成所有的redis操作。

redis 协议设计的非常易读,也易于实现,关于具体的redis通信协议请参考:通信协议(protocol)。后面我们在实现这个协议的过程中也会简单重复介绍一下具体实现

1. 建立tcp连接

redis客户端和服务端的通信是建立tcp连接之上,所以第一步自然是先建立连接

package main

import (
	"flag"
	"log"
	"net"
)

var host string
var port string

func init() {
	flag.StringVar(&host, "h", "localhost", "hsot")
	flag.StringVar(&port, "p", "6379", "port")
}

func main() {
	flag.Parse()

	tcpAddr := &net.TCPAddr{IP: net.ParseIP(host), Port: port}
	conn, err := net.DialTCP("tcp", nil, tcpAddr)
	if err != nil {
		log.Println(err)
    }
    defer conn.Close()

	// to be continue
}

后续我们发送和接受数据便都可以使用conn.Read()conn.Write()来进行了

2. 发送请求

发送请求第一个第一个字节是"*",中间是包含命令本身的参数个数,后面跟着"\r\n" 。之后使用"$"加参数字节数量并使用"\r\n"结尾,然后紧跟参数内容同时也使用"\r\n"结尾。如执行 SET key liangwt 客户端发送的请求为"*3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$7\r\nliangwt\r\n"

注意:

  1. 命令本身也作为协议的其中一个参数来发送
  2. \r\n 对应byte的十进制为 13 10

我们可以使用telnet测试下

wentao@bj:~/github.com/liangwt/redis-cli$ telnet 127.0.0.1 6379
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
*3
$3
SET
$3
key
$7
liangwt
+OK

先暂时忽略服务端的回复,通过telnet我们可以看出请求协议非常简单,所以对于请求协议的实现不做过多的介绍了,直接放代码(如下使用基于字符串拼接,只是为了更直观的演示,效率并不高,实际代码中我们使用bytes.Buffer来实现)

func MultiBulkMarshal(args ...string) string {
	var s string
	s = "*"
	s += strconv.Itoa(len(args))
	s += "\r\n"

	// 命令所有参数
	for _, v := range args {
		s += "$"
		s += strconv.Itoa(len(v))
		s += "\r\n"
		s += v
		s += "\r\n"
	}

	return s
}

在实现了对命令和参数进行编码之后,我们便可以通过conn.Write()把数据推送到服务端

func main() {
    // ....
	req := MultiBulkMarshal("SET", "key", "liangwt")
	_, err = conn.Write([]byte(req))
	if err != nil {
		log.Fatal(err)
	}
	// to be continue
}

3. 获取回复

我们首先实现通过tcp获取服务端返回值,就是上面提到过的conn.Read()

func main() {
    // ....
	p := make([]byte, 1024)
	_, err = conn.Read(p)
	if err != nil {
		log.Fatal(err)
	}
	// to be continue
}

4. 解析回复

我们拿到p之后我们就可以解析返回值了,redis服务端的回复是分为几种情况的

  • 状态回复
  • 错误回复
  • 整数回复
  • 批量回复
  • 多条批量回复

我们把前四种单独看作一组,因为他们都是单一类型的返回值

我们把最后的多条批量回复看成单独的一组,因为它是包含前面几种类型的混合类型。而且你可以发现它和我们的请求协议是一样的

也正是基于以上的考虑我们创建两个函数来分别解析单一类型和混合类型,这样在解析混合类型中的某一类型时就只需要调用单一类型解析的函数即可

在解析具体协议前我们先实现一个是读取到\r\n为止的函数

func ReadLine(p []byte) ([]byte, error) {
	for i := 0; i < len(p); i++ {
		if p[i] == '\r' {
			if p[i+1] != '\n' {
				return []byte{}, errors.New("format error")
			}
			return p[0:i], nil
		}
	}
	return []byte{}, errors.New("format error")
}

第一种状态回复:

状态回复是一段以 "+" 开始, "\r\n" 结尾的单行字符串。如 SET 命令成功的返回值:"+OK\r\n"

所以我们判断第一个字符是否等于 '+' 如果相等,则读取到\r\n


func SingleUnMarshal(p []byte) ([]byte, int, error) {
	var (
		result []byte
		err    error
		length int
	)
	switch p[0] {
	case '+':
		result, err = ReadLine(p[1:])
		length = len(result) + 3
	}

	return result, length, err
}

注:我们在返回实际回复内容的同时也返回了整个回复的长度,方便后面解析多条批量回复时定位下一次的解析位置

第二种错误回复:

错误回复的第一个字节是 "-", "\r\n" 结尾的单行字符串。如执行 SET key缺少参数时返回值:"-ERR wrong number of arguments for 'set' command\r\n"

错误回复和状态回复非常相似,解析方式也是一样到。所以我们只需添加一个case即可

func SingleUnMarshal(p []byte) ([]byte, int, error) {
	var (
		result []byte
		err    error
		length int
	)
	switch p[0] {
	case '+', '-':
		result, err = ReadLine(p[1:])
		length = len(result) + 3
	}
	return result, length, err
}

第三种整数回复:

整数回复的第一个字节是":",中间是字符串表示的整数,"\r\n" 结尾的单行字符串。如执行LLEN mylist命令时返回 ":10\r\n"

整数回复也和上面两种是一样的,只不过返回的是字符串表示的十进制整数

func SingleUnMarshal(p []byte) ([]byte, int, error) {
	var (
		result []byte
		err    error
		length int
	)
	switch p[0] {
	case '+', '-', ':':
		result, err = ReadLine(p[1:])
		length = len(result) + 3
	}
	return result, length, err
}

第四种批量回复:

批量回复的第一个字节为 "$",接下来是字符串表示的整数,它表示实际回复的长度,之后跟着一个 "\r\n",再后面跟着的是实际回复数据,最末尾是另一个 "\r\n"。如GET key 命令的返回值:"$7\r\nliangwt\r\n"

所以批量回复解析的实现:

  • 读取第一行得到实际回复的长度
  • 把字符串类型的长度转换成对应十进制整数
  • 从第二行开始位置往下读对应长度

但是对于某些不存在的key,批量回复会将特殊值 -1 用作回复的长度值, 此时我们不需要继续往下读取实际回复。例如GET NOT_EXIST_KEY 返回值:"$-1", 所以我们需要对此特殊情况判断,让函数返回一个空对象(nil)而不是空值("")

func SingleUnMarshal(p []byte) ([]byte, int, error) {
	// ....
	case '$':
		n, err := ReadLine(p[1:])
		if err != nil {
			return []byte{}, 0, err
		}
		l, err := strconv.Atoi(string(n))
		if err != nil {
			return []byte{}, 0, err
		}
		if l == -1 {
			return nil, 0, nil
		}
		// +3 的原因 $ \r \n 三个字符
		result = p[len(n)+3 : len(n)+3+l]
		length = len(n) + 5 + l
	}
	return result, length, err
}
思考:

为什么redis要使用提前告知字节数,然后往下读取指定长度的方式,而不是直接读取第二行到\r\n为止?

答案很明显:此方式可以让redis读取返回值时不受具体的返回内容影响,在按行读取的情况下,无论使用任何分割符都有可能导致redis在解析具体内容时把内容中的分割符当作时结尾,导致解析错误。

思考一下这种情况:我们SET key "liang\r\nwt" ,那么当我们GET key时,服务端返回值为"$9\r\nliang\r\nwt\r\n" 完全规避了value中的\r\n影响

第五种多条批量回复:

多条批量回复是由多个回复组成的数组,它的第一个字节为"*", 后跟一个字符串表示的整数值, 这个值记录了多条批量回复所包含的回复数量, 再后面是一个"\r\n"。如LRANGE mylist 0 -1的返回值:"*3\r\n$1\r\n3\r\n$1\r\n2\r\n$1\r\n1"。

所以多条批量回复解析的实现:

  • 解析第一行数据获得字符串类型的回复数量
  • 把字符串类型的长度转换成对应十进制整数
  • 按照单条回复依次逐个解析,一共解析成上面得到的数量

在这里我们用到了单条解析时返回的字节长度length,通过这个长度我们可以很方便的知道下次单条解析的开始位置为上一次位置+length

在解析多条批量回复时需要注意两点:

第一,多条批量回复也可以是空白的(empty)。例如执行LRANGE NOT_EXIST_KEY 0 -1 服务端返回值"*0\r\n"。此时客户端返回的应该空数组[][]byte

第二,多条批量回复也可以是无内容的(null multi bulk reply)。例如执行BLPOP key 1 服务端返回值"*-1\r\n"。此时客户端返回的应该是nil

func MultiUnMarsh(p []byte) ([][]byte, error) {
	if p[0] != '*' {
		return [][]byte{}, errors.New("format error")
	}
	n, err := ReadLine(p[1:])
	if err != nil {
		return [][]byte{}, err
	}
	l, err := strconv.Atoi(string(n))
	if err != nil {
		return [][]byte{}, err
	}
	// 多条批量回复也可以是空白的(empty)
	if l == 0 {
		return [][]byte{}, nil
	}

	// 无内容的多条批量回复(null multi bulk reply)也是存在的,
	// 客户端库应该返回一个 null 对象, 而不是一个空数组。
	if l == -1 {
		return nil, nil
	}
	result := make([][]byte, l)
	t := len(n) + 3
	for i := 0; i < l; i++ {
		ret, length, err := SingleUnMarshal(p[t:])
		if err != nil {
			return [][]byte{}, errors.New("format error")
		}
		result[i] = ret
		t += length
	}

	return result, nil
}

5. 命令行模式

一个可用的redis-cli自然是一个交互式的,用户输入指令然后输出返回值。在go中我们可以使用以下代码即可获得一个类似的交互式命令行

func main() {
	// ....
	for {
		fmt.Printf("%s:%d>", host, port)

		bio := bufio.NewReader(os.Stdin)
		input, _, err := bio.ReadLine()
		if err != nil {
			log.Fatal(err)
		}
		fmt.Printf("%s\n", input)
	}
}

我们运行以上代码就可以实现

localhost:6379>set key liang
set key liang
localhost:6379>get key
get key
localhost:6379>

结合上我们的redis发送请求和解析请求即可完成整个redis-cli

func main() {
    // ....
	for {
		fmt.Printf("%s:%d>", host, port)

		// 获取输入命令和参数
		bio := bufio.NewReader(os.Stdin)
		input, err := bio.ReadString('\n')
		if err != nil {
			log.Fatal(err)
		}
		fields := strings.Fields(input)

		// 编码发送请求
		req := MultiBulkMarshal(fields...)

		// 发送请求
		_, err = conn.Write([]byte(req))
		if err != nil {
			log.Fatal(err)
		}

		// 读取返回内容
		p := make([]byte, 1024)
		_, err = conn.Read(p)
		if err != nil {
			log.Fatal(err)
		}

		// 解析返回内容
		if p[0] == '*' {
			result, err := MultiUnMarsh(p)
		} else {
			result, _, err := SingleUnMarshal(p)
		}

    }
    // ....
}

6. 总结

到目前为止我们的cli程序已经全部完成,但其实还有很多不完美地方。但核心的redis协议解析已经完成,使用这个解析我们能完成任何的cli与服务器之间的交互

更详细的redis-cli实现可以参考我的github:A Simaple redis cli - Rclient

也可以关注我的微博@不会凉的凉凉与我交流

© 著作权归作者所有

共有 人打赏支持
liangwt
粉丝 7
博文 14
码字总数 11528
作品 0
南京
程序员
加载中

评论(7)

银杏果果
银杏果果
总感觉go的语法怪怪的,不过这多结果返回挺牛
dingdayu
dingdayu

引用来自“dingdayu”的评论

这个应该是转载吧?
没别的意思,好像在哪看过。
liangwt
liangwt

引用来自“dingdayu”的评论

这个应该是转载吧?
自己写的
dingdayu
dingdayu
这个应该是转载吧?
灭声
灭声
共勉
liangwt
liangwt

引用来自“灭声”的评论

唉,好久没看技术文章了
好久没写文章了:smiley:
灭声
灭声
唉,好久没看技术文章了
基于 Redis 的应用配置文件热更新工具 - GRC

GRC - golang redis config GRC是一款使用golang redis 对应用程序的配置文件进行热更新的一款软件,方便在应用程序启动的过程当中实时更新我们的配置文件。 使用 可以参考测试文件 //使用N...

ppmoon
07/14
0
0
Golang使用redis protocol实现pubsub通信

前言: 闲来无事,加工作不饱和,饱思淫欲的状态下,用golang实现了一个基于redis通信协议的pubsub通信服务端. 这个轮子实现的还很粗暴,内部实现主要用的是golang channel ,不仅可以高效的控...

rfyiamcool
2017/11/15
0
0
Rdb格式文件查看工具--Rdb-viewer

redis db文件-rdb格式文件查看工具。命令行下使用,输出文本格式,方便在cli模式下进行数据分析。使用golang编写,直接编译成一个二进制文件即可使用。 安装 export GO15VENDOREXPERIMENT=1g...

undefined
2016/03/14
255
0
内存 kv 数据库--Xedis

Xedis 是一个内存kv数据库 你可曾觉得: - redis的Keys命令性能太低? - DEL命令不够好用、不支持pattern? - 支持的数据结构太少,不能满足业务需求? 等等各种不尽如人意、不够契合业务场景...

Li_Mr
2017/03/27
802
0
Docker官方镜像这波好猛烈!一定要关注了!

  【IT168 资讯】过去一周,Docker的官方镜像推出了重大更新,针对多平台的容器镜像。现在当你运行docker run hello-world,此时Docker CE和EE将运行hello-world镜像,无论是用于x86-64的L...

it168网站
2017/09/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 到底谁是小公猫……

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子:分享Trivium的单曲《Throes Of Perdition》 《Throes Of Perdition》- Trivium 手机党少年们想听歌,请使劲儿戳(这里) @小鱼丁:...

小小编辑
54分钟前
113
3
基础选择器

注意:本教程参考自网上流传的李兴华老师的jquery开发框架视频,但是苦于没有相应的配套笔记,由我本人做了相应的整理. 本次学习的内容 学习jquery提供的各种选择器的使用,掌握了jquery选择...

江戸川
59分钟前
1
0
Spring中static变量不能@value注入的原因

今天本想使用@Value的方式使类中的变量获得yml文件中的配置值,然而一直失败,获得的一直为null。 类似于这样写的。 public class RedisShardedPool { private static ShardedJedisPool pool...

钟然千落
今天
2
0
CentOS7防火墙firewalld操作

firewalld Linux上新用的防火墙软件,跟iptables差不多的工具。 firewall-cmd 是 firewalld 的字符界面管理工具,firewalld是CentOS7的一大特性,最大的好处有两个:支持动态更新,不用重启服...

dingdayu
今天
1
0
关于组件化的最初步

一个工程可能会有多个版本,有国际版、国内版、还有针对各种不同的渠道化的打包版本、这个属于我们日常经常见到的打包差异化版本需求。 而对于工程的开发,比如以前的公司,分成了有三大块业...

DannyCoder
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部