文档章节

前端后台以及游戏中使用google-protobuf详解

Javen
 Javen
发布于 06/10 16:26
字数 1556
阅读 3133
收藏 38
点赞 2
评论 5

前端后台以及游戏中使用google-protobuf详解

[TOC]

0、什么是protoBuf

protoBuf是一种灵活高效的独立于语言平台的结构化数据表示方法,与XML相比,protoBuf更小更快更简单。你可以用定义自己protoBuf的数据结构,用ProtoBuf编译器生成特定语言的源代码,如C++,Java,Python等,目前protoBuf对主流的编程语言都提供了支持,非常方便的进行序列化和反序列化。

特点:

  • 平台无关、语言无关。
  • 二进制、数据自描述。
  • 提供了完整详细的操作API。
  • 高性能 比xml要快20-100倍
  • 尺寸小 比xml要小3-10倍 高可扩展性
  • 数据自描述、前后兼容

1、下载protobuf的编译器

目前最新版本为Protocol Buffers v3.5.1

2、配置环境变量

解压 protoc-3.5.1-osx-x86_64.zip

Mac 配置环境变量 vi ~/.bash_profile 使其配置生效source ~/.bash_profile

#protobuf
export PROTOBUF_HOME=/Users/Javen/Documents/dev/java/protobuf/protoc-3.5.1-osx-x86_64
export PATH=$PATH:$PROTOBUF_HOME/bin

Window 将bin添加到path 即可 例如:D:\protobuf\protoc-3.5.1-win32\bin

本文在Mac环境下编写 Macwindow命令唯一的区别就是需要将protoc改成protoc.exe 前提是需要添加环境变量。

3、编写一个proto文件

文件保存为chat.protoproto文件摘自t-io 让天下没有难开发的网络编程

syntax = "proto3";
package com.im.common.packets;

option java_package = "com.im.common.packets";  //设置java对应的package
option java_multiple_files = true; //建议设置为true,这样会每个对象放在一个文件中,否则所有对象都在一个java文件中

/**
 * 聊天类型
 */
enum ChatType {
	CHAT_TYPE_UNKNOW = 0;//未知
	CHAT_TYPE_PUBLIC = 1;//公聊
	CHAT_TYPE_PRIVATE = 2;//私聊
}
/**
 * 聊天请求
 */
message ChatReqBody {
	int64 time = 1;//消息发送时间
	ChatType type = 2; //聊天类型
	string text = 3; //聊天内容
	string group = 4; //目标组id
	int32 toId = 5; //目标用户id,
	string toNick = 6; //目标用户nick
}

/**
 * 聊天响应
 */
message ChatRespBody {
	int64 time = 1;//消息发送时间
	ChatType type = 2; //聊天类型
	string text = 3; //聊天内容
	int32 fromId = 4; //发送聊天消息的用户id
	string fromNick = 5; //发送聊天消息的用户nick
	int32 toId = 6; //目标用户id
	string toNick = 7; //目标用户nick
	string group = 8; //目标组id
}

4、编译器对其进行编译

4.1 编译为Java

进入到项目的根目录执行以下编译命令,proto文件存放在com/im/common/packets包下,com/im/common/packetsproto文件中的包名。

protoc  --java_out=./  com/im/common/packets/chat.proto
4.2 编译为JS
protoc --js_out=import_style=commonjs,binary:. chat.proto

执行后会在当前文件夹中生成chat_pb.js 文件,这里面就是protobuf的API和一些函数。如果是Node.js 就可以直接使用了,如果想在浏览器(前端)中使用protobuf还需要做一些处理。

5、前端使用protobuf处理步骤

5.1 npm安装需要的库

chat_pb.js文件的同级目录下安装引用库

npm install -g require
npm install -g browserify
npm install google-protobuf
5.2 使用browserify对文件进行编译打包

编写脚本保存为exports.js

var chatProto = require('./chat_pb');  
module.exports = {  
DataProto: chatProto  
}

执行命令 browserify exports.js > chat.jschat_pb.js文件进行编译打包生成chat.js后就可以愉快的使用了。

6、protobuf使用示例

6.1 前端(JavaScript)中使用protobuf
<script src="./chat.js"></script>
<script type="text/javascript">
    var chatReqBody = new proto.com.im.common.packets.ChatReqBody();
    chatReqBody.setTime(new Date().getTime());
    chatReqBody.setText("测试");
    chatReqBody.setType(1);
    chatReqBody.setGroup("Javen");
    chatReqBody.setToid(666);
    chatReqBody.setTonick("Javen205");

    var bytes = chatReqBody.serializeBinary();  
    console.log("序列化为字节:"+bytes);
    var data = proto.com.im.common.packets.ChatReqBody.deserializeBinary(bytes); 
    console.log("反序列化为对象:"+data);  
    console.log("从对象中获取指定属性:"+data.getTonick());
    console.log("对象转化为JSON:"+JSON.stringify(data));  

</script>
6.2 Java中使用protobuf

java中要用protobuf,protobuf与json相互转换,首先需要引入相关的jar,maven的pom坐标如下

<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>3.5.1</version>
</dependency>
<dependency>
    <groupId>com.googlecode.protobuf-java-format</groupId>
    <artifactId>protobuf-java-format</artifactId>
    <version>1.4</version>
</dependency>
public static void test() {
		try {
			JsonFormat jsonFormat = new JsonFormat();
			ChatRespBody.Builder builder = ChatRespBody.newBuilder();
			builder.setType(ChatType.CHAT_TYPE_PUBLIC);
			builder.setText("Javen 测试");
			builder.setFromId(1);
			builder.setFromNick("Javen");
			builder.setToId(110);
			builder.setToNick("Javen.zhou");
			builder.setGroup("Javen");
			builder.setTime(SystemTimer.currentTimeMillis());
			ChatRespBody chatRespBody = builder.build();
			//从protobuf转json
			String asJson = jsonFormat.printToString(chatRespBody);
			System.out.println("Object to json "+asJson);
			
			byte[] bodybyte = chatRespBody.toByteArray();
			//解码是从byte[]转换为java对象
			ChatRespBody parseChatRespBody = ChatRespBody.parseFrom(bodybyte);
			asJson = jsonFormat.printToString(parseChatRespBody);
			System.out.println("bodybyte to json "+asJson);
			
			//从json转protobuf
			ChatRespBody.Builder _builder = ChatRespBody.newBuilder();
			jsonFormat.merge(new ByteArrayInputStream(asJson.getBytes()), _builder);
			ChatRespBody _chatRespBody = _builder.build();
			asJson = jsonFormat.printToString(_chatRespBody);
			System.out.println("json to protobuf "+asJson);
			
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
6.3 QQ玩一玩中使用protobuf

chat.js中的var global = Function('return this')();修改为

// var global = Function('return this')();

var global = (function(){
  return this;
})()


BK.Script.loadlib('GameRes://qqPlayCore.js');
BK.Script.loadlib('GameRes://tio/chat.js');

function test() {
	var ws = new BK.WebSocket("ws://127.0.0.1:9326?group=test&name=Javen");
	ws.onOpen = function(ws) {
		BK.Script.log(1, 0, "onOpen.js");
		BK.Script.log(1, 0, "1.readyState = " + ws.getReadyState());

		var time = 0;
		BK.Director.ticker.add(function(ts, duration) {
			time = time + 1;
			if (time % 100 == 0) {
				// ws.send("phone test" + time);
				var chatReqBody = new proto.com.im.common.packets.ChatReqBody();
				chatReqBody.setTime(new Date().getTime());
				chatReqBody.setText("phone test" + time);
				chatReqBody.setType(1);
				chatReqBody.setGroup("test");
				var bytes = chatReqBody.serializeBinary();
				ws.send(bytes);
			}
		});
	};
	ws.onClose = function(ws) {
		BK.Script.log(1, 0, "onClose.js");
		BK.Script.log(1, 0, "1.readyState = " + ws.getReadyState());
	};
	ws.onError = function(ws) {
		BK.Script.log(1, 0, "onError.js");
		BK.Script.log(1, 0, "1.readyState = " + ws.getReadyState());
		BK.Script.log("onError.js.js getErrorCode:" + ws.getErrorCode());
		BK.Script.log("onError.js getErrorString:" + ws.getErrorString());
	};
	ws.onMessage = function(ws, event) {
		if (!event.isBinary) {
			var str = event.data.readAsString();
			BK.Script.log(1, 0, "text = " + str);
		} else {
			var buf = event.data;
			//将游标pointer重置为0
			buf.rewind();
			var ab = new ArrayBuffer(buf.length);
			var dv = new DataView(ab);
			while (!buf.eof) {
				dv.setUint8(buf.pointer, buf.readUint8Buffer());
			}
			var chatRespBody = proto.com.im.common.packets.ChatRespBody.deserializeBinary(ab);
			var msg = chatRespBody.getFromnick() + " 说: " + chatRespBody.getText();
			BK.Script.log(1, 0, "text = " + msg);
		}
	};
	ws.onSendComplete = function(ws) {
		BK.Script.log(1, 0, "onSendComplete.js");
	};
	ws.connect();
}

test();
6.4 Eget中使用protobuf
插件下载

egret有提供将proto文件生成JS以及TS的工具

npm install protobufjs -g
npm install @egret/protobuf -g
操作步骤

1、在白鹭项目的根目录中新建protobuf文件夹,再在protobuf文件夹中新建protofile文件夹

2、将proto文件放到protofile文件夹中

3、依次执行pb-egret addpb-egret generate

将会自动完成以下操作:

1、在tsconfig.json中的include节点中添加protobuf/**/*.d.ts

2、在egretProperties.json中的modules节点添加

{
"name": "protobuf-library",
"path": "protobuf/library"
},
{
"name": "protobuf-bundles",
"path": "protobuf/bundles"
}

3、在protobuf文件夹中自动生成bundles以及library文件夹里面包含了我们需要的js以及ts

项目中能使用

处理发送消息

 private sendReq(text:string,group:string){
        var chatReqBody = new com.im.common.packets.ChatReqBody();
        chatReqBody.time = new Date().getTime();
        chatReqBody.text = text;
        chatReqBody.type = com.im.common.packets.ChatType.CHAT_TYPE_PUBLIC;
        chatReqBody.group = group;
        let data = com.im.common.packets.ChatReqBody.encode(chatReqBody).finish();
        this.sendBytesData(data);
    }

    private sendBytesData(data:Uint8Array){
        this.socket.writeBytes(new egret.ByteArray(data));
    }

处理接收消息

 private onReceiveMessage(e:egret.Event):void {

        //创建 ByteArray 对象
        var byte:egret.ByteArray = new egret.ByteArray();
        //读取数据
        this.socket.readBytes(byte);
        let buffer = new Uint8Array(byte.buffer);
        let chatRespBody =  com.im.common.packets.ChatRespBody.decode(buffer);
        
        // this.trace("收到数据:"+JSON.stringify(chatRespBody));
        this.trace(chatRespBody.fromNick+" 说: "+chatRespBody.text);
    }

到这里如何使用protobuf就介绍完了,个人能力有限如有错误欢迎指正。你有更好的解决方案或者建议欢迎一起交流讨论,如有疑问欢迎留言。

© 著作权归作者所有

共有 人打赏支持
Javen

Javen

粉丝 36
博文 30
码字总数 4422
作品 3
深圳
高级程序员
加载中

评论(5)

久永
久永

引用来自“久永”的评论

怎么连个说明这个数据格式定义的文章资料链接都没有?

引用来自“Javen”的评论

https://developers.google.com/protocol-buffers/docs/proto3 大佬需要搭梯子
问的当然是不需要爬梯子的啊。简单搜了下看看,发现和我13年时候的思路有点类似,之前我还完全不知道有这个项目存在。当时就是面临json和xml又慢又臃肿,设想的一个思路。不过没有时间来实现,仅仅停留在了思路大纲上。
对于跨平台也思考过,但是因为跨平台有字节顺序问题,感觉工作量也不少(既要考虑兼容,又要性能不影响)。
整体思路来看,基本大纲的设想都实现了,虽然有的解决方式并不是特别好。(比如,我的思路原来设想的目标是能像json和xml一样自解释,但是谷歌舍弃了。并且自己搞了个模型编译,有点鸡肋。)
Javen
Javen

引用来自“久永”的评论

怎么连个说明这个数据格式定义的文章资料链接都没有?
https://developers.google.com/protocol-buffers/docs/proto3 大佬需要搭梯子
久永
久永
怎么连个说明这个数据格式定义的文章资料链接都没有?
Javen
Javen

引用来自“talent-tan”的评论

这个chat.proto,在老版本中才有,新版本已经把im相关的代码去掉了
嗯 这个已经不重要了,学习研究搞懂原理最重要。
talent-tan
talent-tan
这个chat.proto,在老版本中才有,新版本已经把im相关的代码去掉了
几种序列化协议(protobuf,xstream,jackjson,jdk,hessian)相关数据

别人的相关测试数据: http://code.google.com/p/thrift-protobuf-compare/wiki/Benchmarking 测试纬度 序列化时间 反序列化时间 bytes大小 测试代码 准备protobuf文件 Message.proto文件代码...

SANSOM
2015/08/20
0
0
google的protobuf库

这篇文章将讲述如何使用google的protobuf库实现一个RPC service,就实现一个最简单的service吧:echo.文章对应的代码都可以在eventrpc中找到,写下这篇文章时的svn revision是138. 1) 定义协议首...

moki_oschina
06/06
0
0
基于Go语言的protobuf 安装 以及简单测试用例

先去官网下载protobuf的源码 https://github.com/google/protobuf/releases 可以先下载本地,然后上传到虚拟机中 我选择的是Source code(tar.gz) 安装依赖包(如果缺少包,可能会报错) yum i...

故新
07/04
0
0
开源点评:Protocol Buffers介绍

今天来介绍一下“Protocol Buffers”(以下简称protobuf)这个玩意儿。本来俺在构思“生产者/消费者模式 ”系列的下一个帖子:关于生产者和消费者之间的数据传输格式。由于里面扯到了protobu...

彭苏云
2014/09/26
0
0
Google Protocol Buffers 学习笔记

Google Protocol Buffers 学习 Protocol Buffers(PB)是一个用于序列化结构化数据的机制,是谷歌的一个开源项目,在github上有源代码,也有发行版。PB跟XML相似,XML序列化的时候速度是可以...

yejq8
2015/05/17
0
0
我的Protobuf消息设计原则(续)--实践

1.首先为 聊天服务器(Chat)定义google protobuf的协议接口文件 接口主要遵循 Request、Response、Notification(Indication),Command(本文未出现)四大消息分类,并且使用Message顶层消...

newzai
2014/07/19
0
19
Centos6.4下安装protobuf及简单使用

1、protobuf是google公司提出的数据存储格式,详细介绍可以参考:https://code.google.com/p/protobuf/ 2、下载最新的protobuf,下载地址:https://code.google.com/p/protobuf/downloads/li...

天下杰论
2015/05/09
0
0
SpringBoot整合Netty并使用Protobuf进行数据传输(附工程)

前言 本篇文章主要介绍的是SpringBoot整合Netty以及使用Protobuf进行数据传输的相关内容。Protobuf会简单的介绍下用法,至于Netty在之前的文章中已经简单的介绍过了,这里就不再过多细说了。...

虚无境
前天
0
0
Google Protobuf 开发指南

Google Protobuf开发指南 1.简介 l 它是开源项目:http://code.google.com/p/protobuf/ l 由google开发,并且在google内部使用 l Protobuf的作用和xml、json是一回事,但他是二进制格式,性能...

macwe
2013/08/29
0
1
采用protobuf降低redis的内存使用

Redis的当前数据存储在内存中,由于内存并不象硬盘一样有着很大的空间,对于服务器来说一般只会提供16G或32G内存。所以让Redis使用这些内存存储更多的数据是比较重要的。在使用redis的sampl...

泥水佬
2013/08/19
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

虚拟机怎么安装vmware tools

https://blog.csdn.net/tjcwt2011/article/details/72638977

AndyZhouX
7分钟前
0
0
There is no session with id[xxx]

参考网页 https://blog.csdn.net/caimengyuan/article/details/52526765 报错 2018-07-19 23:04:35,330 [http-nio-1008-exec-8] DEBUG [org.apache.shiro.web.servlet.SimpleCookie] - Found......

karma123
7分钟前
0
0
vue-router懒加载

1. vue-router懒加载定义 当路由被访问的时候才加载对应组件 2. vue-router懒加载作用 当构建的项目比较大的时候,懒加载可以分割代码块,提高页面的初始加载效率。 ###3. vue-router懒加载实...

不负好时光
15分钟前
0
0
庆祝法国队夺冠:用Python放一场烟花秀

天天敲代码的朋友,有没有想过代码也可以变得很酷炫又浪漫?今天就教大家用Python模拟出绽放的烟花庆祝昨晚法国队夺冠,工作之余也可以随时让程序为自己放一场烟花秀。 这个有趣的小项目并不...

猫咪编程
16分钟前
0
0
SpringBoot | 第七章:过滤器、监听器、拦截器

前言 在实际开发过程中,经常会碰见一些比如系统启动初始化信息、统计在线人数、在线用户数、过滤敏高词汇、访问权限控制(URL级别)等业务需求。这些对于业务来说一般上是无关的,业务方是无需...

oKong
30分钟前
4
0
存储结构分四类:顺序存储、链接存储、索引存储 和 散列存储

存储结构分四类:顺序存储、链接存储、索引存储 和 散列存储 存储结构分四类:顺序存储、链接存储、索引存储 和 散列存储。 顺序结构和链接结构适用在内存结构中。 顺序表每个单元都是按物理...

DannyCoder
41分钟前
1
0
Firefox 61已经为Ubuntu 提供支持

最新和最好的Mozilla Firefox 61 “Quantum”网络浏览器已经为Ubuntu Linux操作系统的用户提供了支持,现在可以通过官方软件库进行更新。 Mozilla于2018年6月26日发布了Firefox 61版本,该版...

六库科技
今天
0
0
Win10升级后执行系统封装(Sysprep)报错

开始封装 一年多以前开始给公司封装Win10系统,便于统一给公司电脑初始化携带各种软件的系统,致力于装完既可以开发的状态。那时候最新的版本是Win10 1703版本,自然就以他为母盘,然后结合V...

lyunweb
今天
40
0
php 性能优化

#什么情况下会遇到性能问题 PHP 语法使用的不恰当

to_be_better
今天
0
0
Jenkins 构建触发器操作详解

前言 跑自动化用例每次用手工点击jenkins出发自动化用例太麻烦了,我们希望能每天固定时间跑,这样就不用管了,坐等收测试报告结果就行。 一、定时构建语法 * * * * * (五颗星,中间用空格隔...

覃光林
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部