文档章节

Avro 生成代码使用案例

xmeng
 xmeng
发布于 2018/07/15 01:00
字数 1759
阅读 697
收藏 0

摘要:最近研究 Kafka,其中数据对象的序列化和反序列化操作除了内置的序列化器外,还可以自定义对象序列化器,另外还有一中方法就是使用 Avro,这种方法通过规范Schema 达到更通用的效果。本文单独抽离出如何使用 Avro 生成代码,该过程同样也可以在 Kafka 使用中利用。

<!--more-->

概述

Avro 是 Hadoop 中的一个子项目,也是 Apache 中一个独立的项目,Avro 是一个基于二进制数据传输高性能的中间件。在 Hadoop 的其他项目中,例如 HBaseHiveClient 端与服务端的数据传输也采用了这个工具。Avro 是一个数据序列化的系统,它可以提供:

1、丰富的数据结构类型 2、快速可压缩的二进制数据形式 3、存储持久数据的文件容器 4、远程过程调用 RPC 5、简单的动态语言结合功能,Avro 和动态语言结合后,读写数据文件和使用 RPC 协议都不需要生成代码,而代码生成作为一种可选的优化只值得在静态类型语言中实现。 Avro 支持跨编程语言实现(C, C++, C#,Java, Python, Ruby, PHP),Avro 提供着与诸如 Thrift 和 Protocol Buffers 等系统相似的功能,但是在一些基础方面还是有区别的,主要是:

1、动态类型:Avro 并不需要生成代码,模式和数据存放在一起,而模式使得整个数据的处理过程并不生成代码、静态数据类型等等。这方便了数据处理系统和语言的构造。 2、未标记的数据:由于读取数据的时候模式是已知的,那么需要和数据一起编码的类型信息就很少了,这样序列化的规模也就小了。 3、不需要用户指定字段号:即使模式改变,处理数据时新旧模式都是已知的,所以通过使用字段名称可以解决差异问题。 Avro 和动态语言结合后,读/写数据文件和使用 RPC 协议都不需要生成代码,而代码生成作为一种可选的优化只需要在静态类型语言中实现。

当在 RPC 中使用 Avro 时,服务器和客户端可以在握手连接时交换模式。服务器和客户端有着彼此全部的模式,因此相同命名字段、缺失字段和多余字段等信息之间通信中需要解决的一致性问题就可以容易解决。

还有,Avro 模式是用 JSON(一种轻量级的数据交换模式)定义的,这样对于已经拥有 JSON 库的语言可以容易实现

本文主要介绍如何使用 AvroSchema 文件生成代码,不会详细介绍 Schema 的语法等内容,可参考官方文档,以及如下博文。Avro介绍

使用Avro生成代码

目标

在开发中,如果我们要使用 Avro 往往需要生成类文件,虽然这些文件不需要被管理,每次编译都可以自动生成,但是如果开发中能有一个生成好的类文件,对于测试和开发都有好处。本文介绍使用 Maven 依赖来完成这个过程,好处是不需要自己下载 jar,自己敲命令行来完成代码生成。

这里着重介绍以下问题:

  1. AvroMaven 插件的配置
  2. 如何执行代码生成命令

AvroMaven 插件的配置

首先引入依赖 org.apache.avro

<dependencies>
	<!-- avro Dependency-->
	<dependency>
		<groupId>org.apache.avro</groupId>
		<artifactId>avro</artifactId>
		<version>1.8.2</version>
	</dependency>
</dependencies>

然后添加 plugin

<plugin>
	<groupId>org.apache.avro</groupId>
	<artifactId>avro-maven-plugin</artifactId>
	<version>1.8.2</version>
	<!--global plugin configuration which used for run goal separately-->
	<configuration>
		<!--The Avro source directory for schema, protocol and IDL files.-->
		<sourceDirectory>${project.basedir}/src/main/avro/</sourceDirectory>
		<!--The directory where Avro writes code-generated sources. IMPORTANT!! -->
		<outputDirectory>${project.basedir}/src/main/java/</outputDirectory>
		<!--The input directory containing any Avro files used in testing.-->
		<testSourceDirectory>${project.basedir}/src/test/avro/</testSourceDirectory>
		<!--The output directory where Avro writes code-generated files for your testing purposes.-->
		<testOutputDirectory>${project.basedir}/src/test/java/</testOutputDirectory>
	</configuration>
	<executions>
		<execution>
			<!--
			IMPORTANT: Because this configuration is set in the execution with phase `generate-sources`.
			So only run compile or package which include this phase will apply this configuration.
			So if only make this configuration, run `mvn avro:schema` will only generate to the target
			folder with default configuration.
			-->
			<phase>generate-sources</phase>
			<goals>
				<goal>schema</goal>
				<!--If you want to generate other code, need add more goals-->
				<goal>protocol</goal>
				<goal>idl-protocol</goal>
			</goals>
			<!---->
			<configuration>
				<!--default is ${basedir}/src/main/avro
				The Avro source directory for schema, protocol and IDL files.-->
				<sourceDirectory>${project.basedir}/src/main/avro/</sourceDirectory>

				<!--default is ${project.build.directory}/generated-sources/avro
				 The directory where Avro writes code-generated sources. IMPORTANT!! -->
				<outputDirectory>${project.basedir}/src/main/java/</outputDirectory>

				<!--default is ${basedir}/src/test/avro
				The input directory containing any Avro files used in testing.-->
				<testSourceDirectory>${project.basedir}/src/test/avro/</testSourceDirectory>

				<!--default is ${project.build.directory}/generated-test-sources/avro
				The output directory where Avro writes code-generated files for your testing purposes.-->
				<testOutputDirectory>${project.basedir}/src/test/java/</testOutputDirectory>

				<!--fieldVisibility PUBLIC_DEPRECATED
				Determines the accessibility of fields (e.g. whether they are public or private).
				Must be one of PUBLIC, PUBLIC_DEPRECATED or PRIVATE. PUBLIC_DEPRECATED merely
				adds a deprecated annotation to each field, e.g. "@Deprecated public long time".-->


				<!--In addition, the includes and testIncludes configurables can also be used to
				specify alternative file extensions to the defaults, which are **/*.avsc, **/*.avpr
				and **/*.avdl for schema, protocol and IDL files respectively.-->
				<!--<includes>
				  <include>**/*.avro</include>
				</includes>
				<testIncludes>
				  <testInclude>**/*.test</testInclude>
				</testIncludes>-->
			</configuration>
		</execution>
	</executions>
</plugin>

这个配置需要注意几点

配置的位置

官方文档中配置放在了 execution 标签之下,这就意味着这个配置是在对应的 phase 执行的环境下才有效。所以官方的案例只有在执行 generate-sources 时才会生效。

如果我们希望能够通过 mvn 执行 goal 的时候使配置生效,我们可以把配置放在 plugin 之下,这样所有的 goal 都会使用该配置文件。

配置选项说明

重点如如下几种配置:

配置项 默认值 描述
sourceDirectory ${basedir}/src/main/avro Avro的Schema,Protocol,IDL 等文件
outputDirectory ${project.build.directory}/generated-sources/avro 代码生成的目标文件夹
testSourceDirectory ${basedir}/src/test/avro 测试使用的Schema,Protocol,IDL 等文件
testOutputDirectory ${project.build.directory}/generated-test-sources/avro 代码生成的目标文件夹

指定生成的包路径

通过上面的配置我们发现,只能指定到根路径,如果希望生成到指定的包路径,需要通过 Avro 的源文件指定 namespace 来唯一的指定包路径:

下面是一个 Schema 文件 weather.avsc

{
  "namespace": "science.mengxin.java.avro.demo",
  "type": "record",
  "name": "Weather",
  "doc": "A weather reading.",
  "fields": [
    {
      "name": "station",
      "type": "string",
      "order": "ignore"
    },
    {
      "name": "time",
      "type": "long"
    },
    {
      "name": "temp",
      "type": "int"
    }
  ]
}

如何执行代码生成命令

有了以上的配置,生成代码就非常简单

  1. 执行 mvn compile 或者 mvn package,代码将会按照配置文件生成
  2. 执行 mvn avro:schememvn avro:protocolmvn avro:idl-protocol 单独生成对应的代码

代码参考

以下是一个简单源码案例,仅供参考。

© 著作权归作者所有

xmeng
粉丝 1
博文 5
码字总数 9057
作品 0
南京
私信 提问
加载中

评论(0)

0016-Avro序列化&反序列化和Spark读取Avro数据

1.简介 本篇文章主要讲如何使用java生成Avro格式数据以及如何通过spark将Avro数据文件转换成DataSet和DataFrame进行操作。 1.1Apache Arvo是什么? Apache Avro 是一个数据序列化系统,Avro提...

Hadoop实操
2018/11/18
118
0
Apache Spark 2.4 内置的 Avro 数据源介绍

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.4 版本开始,Spark 为读取和写入 Avro...

Spark
2018/12/11
0
0
【译】Apache Spark 2.4内置数据源Apache Avro

原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4 Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中,尤其适用于基于 Ka...

开源大数据
2018/12/05
0
0
Apache Avro as a Built-in Data Source in Apache Spark 2.4

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.4 版本开始(参见 Apache Spark 2.4 正...

开源大数据EMR
2019/04/12
0
0
Impala 表使用 Avro 文件格式(翻译)

Impala 表使用 Avro 文件格式 Cloudera Impala 支持数据文件使用 Avro 文件格式的表。Impala 可以查询 Avro 表,但目前不支持创建和插入数据。对于这些操作,使用 Hive 处理,然后切换回 Im...

weiqingbin
2014/01/20
1.2K
0

没有更多内容

加载失败,请刷新页面

加载更多

郑州开医疗器械发票

郑州开医疗器械发票【132 * 50 52 * 90 89】罗生,诚、信、合、作,保、真、售、后、保、障、长、期、有、效。adb的全称为Android Debug Bri...

zhangyongli
6分钟前
22
0
OSChina 周四乱弹 —— 失业后的阳光太刺眼了

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @大又 :分享Jack Stauber的单曲《Fighter》 《Fighter》- Jack Stauber 手机党少年们想听歌,请使劲儿戳(这里) @theLovelyBugfly :笑死我...

小小编辑
今天
66
0
手把手教你搭建 ELK 实时日志分析平台

本篇文章主要是手把手教你搭建 ELK 实时日志分析平台,那么,ELK 到底是什么呢? ELK 是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。 Elasticsearch ...

武培轩
今天
86
0
直播报名 | Service Mesh技术实践分享

近年来,云原生(Cloud Native)逐渐成为一个技术领域内的流行语,热度居高不下。企业正在加速拥抱云原生架构,以此缩短产品发布周期、敏捷响应市场需求,继而从云计算服务中提炼新的价值和技...

百度开发者中心
今天
97
0
Qt 实现QTableView单元格多按钮效果

实现效果预览: 思路: 使用Qt的委托类独自渲染表格的某一列,如上图字段2的那一列。该一个单元格放入多个按钮,重写 QStyledItemDelegate 委托类 paint 方法即可实现上图效果。 代码: 委托...

剑是SR剑
今天
97
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部