文档章节

flume hdfs一些简单配置记忆

p
 piggogo
发布于 2017/02/19 11:03
字数 613
阅读 17
收藏 0

  1 ############################################
  2 #  producer config
  3 ############################################
  4 #agent section
  5 producer.sources = s
  6 producer.channels = c c1 c2
  7 producer.sinks = r h es
  8
  9 #source section
10 producer.sources.s.type =exec
11 producer.sources.s.command = tail -f /usr/local/nginx/logs/test1.log
12 #producer.sources.s.type = spooldir
13 #producer.sources.s.spoolDir = /usr/local/nginx/logs/
14 #producer.sources.s.fileHeader = true
15
16 producer.sources.s.channels = c c1 c2
17
18 producer.sources.s.interceptors = i
19 #不支持忽略大小写
20 producer.sources.s.interceptors.i.regex = .*\.(css|js|jpg|jpeg|png|gif|ico).*
21 producer.sources.s.interceptors.i.type = org.apache.flume.interceptor.RegexFilteringInterceptor$Builder
22 #不包含
23 producer.sources.s.interceptors.i.excludeEvents = true
24
25 ############################################
26 #  hdfs config
27 ############################################
28 producer.channels.c.type = memory
29 #Timeout in seconds for adding or removing an event
30 producer.channels.c.keep-alive= 30
31 producer.channels.c.capacity = 10000
32 producer.channels.c.transactionCapacity = 10000
33 producer.channels.c.byteCapacityBufferPercentage = 20
34 producer.channels.c.byteCapacity = 800000
35
36 producer.sinks.r.channel = c
37
38 producer.sinks.r.type = avro
39 producer.sinks.r.hostname  = 127.0.0.1
42 producer.sinks.r.port = 10101
43 ############################################
44 #  hdfs config
45 ############################################
46 producer.channels.c1.type = memory
47 #Timeout in seconds for adding or removing an event
48 producer.channels.c1.keep-alive= 30
49 producer.channels.c1.capacity = 10000
50 producer.channels.c1.transactionCapacity = 10000
51 producer.channels.c1.byteCapacityBufferPercentage = 20
52 producer.channels.c1.byteCapacity = 800000
53
54 producer.sinks.h.channel = c1
55
56 producer.sinks.h.type = hdfs
57 #目录位置
58 producer.sinks.h.hdfs.path = hdfs://127.0.0.1/tmp/flume/%Y/%m/%d
59 #文件前缀
60 producer.sinks.h.hdfs.filePrefix=nginx-%Y-%m-%d-%H
61 producer.sinks.h.hdfs.fileType = DataStream
62 #时间类型必加,不然会报错
63 producer.sinks.h.hdfs.useLocalTimeStamp = true
64 producer.sinks.h.hdfs.writeFormat = Text
65 #hdfs创建多长时间新建文件,0不基于时间
66 #Number of seconds to wait before rolling current file (0 = never roll based on time interval)
67 producer.sinks.h.hdfs.rollInterval=0
68 hdfs多大时新建文件,0不基于文件大小
69 #File size to trigger roll, in bytes (0: never roll based on file size)
70 producer.sinks.h.hdfs.rollSize = 0
71 #hdfs有多少条消息时新建文件,0不基于消息个数
72 #Number of events written to file before it rolled (0 = never roll based on number of events)
73 producer.sinks.h.hdfs.rollCount = 0
74 #批量写入hdfs的个数
75 #number of events written to file before it is flushed to HDFS
76 producer.sinks.h.hdfs.batchSize=1000
77 #flume操作hdfs的线程数(包括新建,写入等)
78 #Number of threads per HDFS sink for HDFS IO ops (open, write, etc.)
79 producer.sinks.h.hdfs.threadsPoolSize=15
80 #操作hdfs超时时间
81 #Number of milliseconds allowed for HDFS operations, such as open, write, flush, close. This number should be increased if many HDFS timeout operations are occurring.
82 producer.sinks.h.hdfs.callTimeout=30000

 

hdfs.round

 

false

 

Should the timestamp be rounded down (if true, affects all time based escape sequences except %t)

 

hdfs.roundValue

 

1

 

Rounded down to the highest multiple of this (in the unit configured using hdfs.roundUnit), less than current time.

 

hdfs.roundUnit

 

second

 

The unit of the round down value - second, minute or hour.

 

83 ############################################
84 #  elasticsearch config
85 ############################################
86 producer.channels.c2.type = memory
87 #Timeout in seconds for adding or removing an event
88 producer.channels.c2.keep-alive= 30
89 producer.channels.c2.capacity = 10000
90 producer.channels.c2.transactionCapacity = 10000
91 producer.channels.c2.byteCapacityBufferPercentage = 20
92 producer.channels.c2.byteCapacity = 800000
93
94 producer.sinks.es.channel = c2
95
96 producer.sinks.es.type = org.apache.flume.sink.elasticsearch.ElasticSearchSink
97 producer.sinks.es.hostNames = 127.0.0.1:9300
98 #Name of the ElasticSearch cluster to connect to
99 producer.sinks.es.clusterName = sunxucool
100 #Number of events to be written per txn.
101 producer.sinks.es.batchSize = 1000
102 #The name of the index which the date will be appended to. Example ‘flume’ -> ‘flume-yyyy-MM-dd’
103 producer.sinks.es.indexName = flume_es
104 #The type to index the document to, defaults to ‘log’
105 producer.sinks.es.indexType = test
106 producer.sinks.es.serializer = org.apache.flume.sink.elasticsearch.ElasticSearchLogStashEventSerializer
 

本文转载自:

p
粉丝 1
博文 5
码字总数 3895
作品 0
高级程序员
私信 提问
Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

大数据之路
2014/07/08
55.8K
9
Flume框架简单介绍(34)

Flume是一个分布式的海量数据收集框架. Flume框架流程图 Channel是缓存的数据,如果Sink传送给了HDFS,Channel中缓存的数据就会删除,如果没有传送成功,Channel相当于做了备份,Sink重复从C...

肖鋭
2014/04/06
262
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
2018/06/29
0
0
使用Flume将日志导入OSS

前言 Apache Flume是一个高可用、高可靠的分布式日志采集、聚合与传输的系统。它基于流式的数据传输,架构简单、灵活。它简单可扩展的模型,也适合在线的数据分析。 上图是它的简单数据流模型...

冷月_wjh
2018/08/29
0
0
Flume学习系列(一)----总体介绍

前言: 本文是flume学习系列的开篇,主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始,因为比较简单而且网上资料也很详尽: So,研读了一下官方文档,特此把Flume...

小北觅
2018/08/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
今天
10
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
22
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
9
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部