文档章节

Protobuf简介

 张永昌
发布于 2015/08/26 16:54
字数 900
阅读 34
收藏 0

Protobuf 简介

Protobuf全称Google Protocol Buffers

  • 结构化数据存储格式(xml, json)

  • 用于通信协议、数据存储等

  • 高效的序列化和反序列化

  • 语言无关、平台无关、扩展性好

  • 官方支持C++, Java, Python三种语言

.proto文件

定义和使用

消息定义文件user_def.proto

package user;
message UserInfo { 
    required int64 id = 1;
    optional string name = 2;
    repeated bytes nick_name = 3;
}

编译.proto,生成解析器代码

protoc --cpp_out . user.proto  // user_def.pb.h user_def.pb.cc
protoc --java_out . user.proto // user/UserInfo.java

字段ID

optional string name = 2;

  • 唯一性

  • 序列化后,1~15占一个字节,16~2047占两个字节

字段类型

  • string vs. bytes

    .proto类型 c++类型 java类型 说明
    string std::string String 必须是UTF-8或ASCII文本
    bytes std::string ByteString 任意的字节序列

编写建议

  1. 常用消息字段(尤其是repeated字段)的ID尽量分配在1~15之间。

  2. 尽可能多的(全部)使用optional字段。

  3. 命名方式

    • .proto文件名用underscore_speparated_names。

    • 消息名用CamelCaseNames。

    • 字段名用underscore_separated_names。

兼容性建议

  1. 不能修改字段的ID。

  2. 不能增删任何required字段。

  3. https://developers.google.com/protocol-buffers/docs/proto#updating

序列化后的protobuf消息

  • 一序列的键值对,键是消息字段的ID。

  • 已知消息字段(.proto文件定义)按其ID顺序排列。

  • 未知消息字段:

    • c++和java: 排在已知字段之后且顺序不定。

    • python: 不保留未知字段。

  • 不包含未赋值的optional消息字段。

  • 使用little-endian字节序存储。

反射

反射是protobuf的一个重要特性,涉及到的类主要有:

根据名称创建消息

以下是一个根据消息名(包含package name)创建protobuf消息的C++函数,需要注意的是返回的消息必须在用完后delete掉。

Message* createMessage(const string &typeName) {
    Message *message = NULL;
    // 查找message的descriptor
    const Descriptor *descriptor = DescriptorPool::generated_pool()->FindMessageTypeByName(typeName);
    if (descriptor) {
        // 创建default message(prototype)
        const Message *prototype = MessageFactory::generated_factory()->GetPrototype(descriptor);
        if (NULL != prototype) {
            // 创建一个可修改的message
            message = prototype->New();
        }
    }
    return message;
}

修改消息

根据消息的字段名称修改其值。以上面的user.UserInfo为例,下面将一个新的UserInfo消息的其id字段设为100。

int main() {
    // 使用上面的函数创建一个新的UserInfo message
    Message *msg = createMessage("user.UserInfo");
    if (NULL == msg) {
        // 创建失败,可能是消息名错误,也可能是编译后message解析器
        // 没有链接到主程序中。
        return -1;
    }

    // 获取message的descriptor
    const Descriptor* descriptor = msg->GetDescriptor();
    // 获取message的反射接口,可用于获取和修改字段的值
    const Reflection* reflection = msg->GetReflection();

    // 根据字段名查找message的字段descriptor
    const FieldDescriptor* idField = descriptor->FindFieldByName("id");
    // 将id设置为100
    if (NULL != idField) {
        reflection->SetInt64(msg, idField, 100);
    }

    // ... 其他操作

    // 最后删除message
    delete msg;

    return 0;
}

从字符串或流中读取消息

createMessage创建一个空的消息后,最常见的使用场景是使用Message的ParseFromString或ParseFromIstream方法从字符串或流中读取一个序列化后的message。

    Message *msg = createMessage("user.UserInfo");
    if (NULL != msg) {
        if (!msg->ParseFromString("... serialized message string ... ")) {
            // 解析失败
            ...
        }
    }

Protobuf优势

  1. 扩展性好

    • 前后兼容

    • 引入(import)已定义的消息

    • 嵌套消息

  2. 高效

    • 适合处理大量小数据(单个Message不超过1M)

Protobuf劣势

  1. 没有内置的Set, Map等容器类型。

  2. 不适合处理单个Message超过1M的情景,详见Large Data Sets

进一步阅读

阅读资料


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 1
码字总数 900
作品 0
武汉
私信 提问
Derek解读Bytom源码-protobuf生成比原核心代码

作者:Derek 简介 Github地址:https://github.com/Bytom/bytom Gitee地址:https://gitee.com/BytomBlockchain/bytom 本章介绍bytom代码Api-Server接口服务 作者使用MacOS操作系统,其他平台...

比原链Bytom
08/23
0
0
Notepad++ 的 protobuf 高亮显示和列表显示

项目地址: https://github.com/chai2010/notepadplus-protobuf

chai2010
2015/07/29
0
0
Google Protobuf 开发指南

Google Protobuf开发指南 1.简介 l 它是开源项目:http://code.google.com/p/protobuf/ l 由google开发,并且在google内部使用 l Protobuf的作用和xml、json是一回事,但他是二进制格式,性能...

macwe
2013/08/29
0
1
Centos6.4下安装protobuf及简单使用

1、protobuf是google公司提出的数据存储格式,详细介绍可以参考:https://code.google.com/p/protobuf/ 2、下载最新的protobuf,下载地址:https://code.google.com/p/protobuf/downloads/li...

天下杰论
2015/05/09
0
0
我的Protobuf消息设计原则(续)--实践

1.首先为 聊天服务器(Chat)定义google protobuf的协议接口文件 接口主要遵循 Request、Response、Notification(Indication),Command(本文未出现)四大消息分类,并且使用Message顶层消...

newzai
2014/07/19
0
19

没有更多内容

加载失败,请刷新页面

加载更多

在Python中调用Java扩展包HanLP测试记录

最近在研究中文分词及自然语言相关的内容,关注到JAVA环境下的HanLP,HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包,支持中文分词(N-最短路分词、CRF分词、索引分词、用户自定义...

左手的倒影
9分钟前
1
0
使用python读取mysql数据库并进行数据的操作

(一)环境的配置 使用python调用mysql数据库要引进一些库。 目前我使用的python版本是python3.6。引进库为pymysql 其他对应的库可以有以下选择: mysqldb,oursql, PyMySQL, myconnpy 等,参...

dragon_tech
14分钟前
1
0
基于阿里云物联网平台实现的简易出入监控

本文通过一个简单实例,主要介绍了如何使用树莓派快速接入阿里云iot platform,并实现了一个简易的监控人员出入并拍照上送钉钉群的场景 场景 在公司大门入口处布点树莓派和红外感应,实现出入...

阿里云官方博客
21分钟前
2
0
基于阿里云物联网平台,我们这样实现简易出入监控

本文通过一个简单实例,主要介绍了如何使用树莓派快速接入阿里云iot platform,并实现了一个简易的监控人员出入并拍照上送钉钉群的场景 场景 在公司大门入口处布点树莓派和红外感应,实现出入...

阿里云云栖社区
26分钟前
3
0
fedora linux for 龙芯查看实时输出的tomcat日志

软件源带的tomcat版本较低,所以建议从官网下载最新版本。 解压后,执行./startup.sh文件。 查看实时输出的tomcat日志,请使用命令tail -f /usr/share/tomcat/logs/catalina.out。 “/usr/sh...

gugudu
27分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部