文档章节

两个flume的拦截器(interceptor)

午火
 午火
发布于 2014/06/11 09:26
字数 299
阅读 4K
收藏 3

flume支持拦截器(interceptors)机制,是在source这个层面上工作,这里有两个拦截器

1,支持将日志体(event body)里面的字符串替换成另一个字符串。配置文件http://git.oschina.net/atuchow/flume-additional/blob/master/src/test/resources/local2hdfs.conf

中的a1.sources.r1.interceptors.i3 部分。

只支持两个功能,第一次替换和全部替换。替换的字符串必须用unicode编办的方式编写。代码:http://git.oschina.net/atuchow/flume-additional/blob/master/src/main/java/com/fone/flumeExt/interceptor/RegexReplaceAllInterceptor.java

2,将 event header中的时间戳和日志名称作转换。配置文件local2hdfs.conf中的a1.sources.r1.interceptors.i4 部分。

时间戳转换成以 年 月 日 时 分 秒 (fy fm fd fh fmin fs 为key)的方式,直接用 enevnt.getHeaders().get(“fy”)就可以取得年

另外,还提供转换 log name的功能,通过继承AvroHeaderInterceptor就可以扩展提供log name的转换,给公司写的组件提供通过配置文件的方式转换,这里只有一个default的功能,不做任何转换直接输出。代码:http://git.oschina.net/atuchow/flume-additional/blob/master/src/main/java/com/fone/flumeExt/interceptor/DefaultAvroHeaderInterceptor.java

© 著作权归作者所有

午火
粉丝 1
博文 3
码字总数 994
作品 0
通州
高级程序员
私信 提问
Flume学习系列(四)---- Interceptors(拦截器)

前言:flume通过使用Interceptors(拦截器)实现修改和过滤事件的功能。举个栗子,一个网站每天产生海量数据,但是可能会有很多数据是不完整的(缺少重要字段),或冗余的,如果不对这些数据...

小北觅
2018/08/21
0
0
flume源码编译/拦截器分析(一)

flume介绍 ---由于是第一次进行源码编译与开发,步骤有点复杂,后续再进行简化 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定...

-九天-
2018/01/11
406
0
Flume学习系列(五)---- Custom Interceptors(自定义拦截器)

前言:接上一篇,本篇文章实现一个自定义的拦截器。主要功能是在Event的body中添加IP地址。因为没有拦截器可以在Body中添加(host是在header中添加),所以需要自定义。掌握了这个,其他的情...

小北觅
2018/08/21
0
0
阿里大数据工程师教你怎样理解Flume

lume是干什么的? 收集日志的 flume如何搜集日志? 我们把flume比作情报人员 (1)搜集信息 (2)获取记忆信息 (3)传递报告间谍信息 flume是怎么完成上面三件事情的,三个组件: source: ...

JAVA丶学习
2018/04/14
0
0
flume 总结--flume入门介绍

flume介绍 flume被设计为一个灵活的分布式系统,可以很容易的扩展,而且是高度可定制化的,一个配置正确的Flume Agent和由互相连接的Agent创建的Agent管道,保证不会丢失数据,提供持久的cha...

u013362353
2018/05/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

应急广播户户通平台

一、平台概述 应急广播户户通平台为软硬一体化广播服务解决方案。实现了应急广播、视音频及图片文字信息、调频及数字广播FM、天气预报信息接收功能,以及视音频播放、智能机器人、电子日历等...

neocean
34分钟前
47
0
如何为Apache 2.2启用mod_rewrite

我已经在我的Vista机器上安装了新的Apache 2.2,一切正常,除了mod重写。 我没有注释 LoadModule rewrite_module modules/mod_rewrite.s 但是我的重写规则都没有,即使是简单的重写规则 Re...

javail
40分钟前
23
0
移除Python unicode字符串中的重音符号的最佳方法是什么?

我在Python中有一个Unicode字符串,我想删除所有的重音符号(变音符号)。 我在网上发现了一种用Java实现此目的的优雅方法: 将Unicode字符串转换为长规范化格式(带有单独的字母和变音符号)...

技术盛宴
55分钟前
48
0
ActiveMQ学习之SpringBoot整合ActiveMQ------>主题生产者和消费者

一、pom <!--聚合工程集成关系--> <!--统一整合第三方框架依赖信息--> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</a......

冥焱
今天
89
0
两周自制脚本语言-第11天 优化变量读写性能

第11天 优化变量读写性能 以变量值的读写为例,向读者介绍基于这种理念的语言处理器性能优化方式。 11.1 通过简单数组来实现环境 假如函数包含局部变量x与y,程序可以事先将x设为数组的第0个...

果汁分你一半
今天
58
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部