加载中
kafka sink

flume版本1.6 kafka版本0.8.2 创建配置目录 mkdir /opt/beh/core/flume/conf.d 创建采集数据目录 mkdir /opt/beh/data/flume/kafka-agent 创建配置文件 /opt/beh/core/flume/conf.d/kafka-a...

2017/04/21 13:11
23
Kafka各版本差异

从0.8.x,0.9.x,0.10.0.x,0.10.1.x,0.10.2.x,0.11.0.x,1.0.x或1.1.x升级到2.0.0 Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划,您可以保证在升级期间不会出现停机...

06/09 11:41
4
Zookeeper CancelledKeyException

随着生产集群里应用的增多,zookeeper的压力越来越大,resourcemanager出现了异常挂起。 延迟问题 首先是“fsync-ing the write ahead log in SyncThread:3 took 1606ms which will adversel...

2017/08/10 21:34
329
Kafka server.properties

0.8 version # Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional in...

Trident State(翻译)

Trident 是对状态化(stateful)数据源进行读取和写入操作的最好抽象。状态(state)既可以保存在拓扑内部(例如保存在内存中并备份到HDFS上),也可以存入像Memcached或者Cassandra这样的外...

2017/08/10 23:54
21
Kafka Spout Offset存储在Zookeeper

Kafka Spout Offset存储在Zookeeper,配置中需要单独指定SpoutConfig.zkPort和SpoutConfig.zkServers,否则无法生效。 import java.util.ArrayList; import java.util.List; import org.apac...

flume-ng学习

简介 Flume简要来说是,是分布式实时数据采集系统,能够监控多种数据来源,然后传输给多种数据目标。常用的数据来源有日志文件、Socket、Kafka等;常见的数据目标有HDFS、Hbase、文件、Kafka...

SparkStreaming Java

Spark streaming是Spark核心API的一个扩展,它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据,也可以通过由 ...

Apache Slider编译安装

Apache Slider 简介 Apache Slider目前是Apache二级孵化项目,主要用途是在YARN上部署用户已有的服务或者组件,如:hbase,storm,kafka. 下载地址:Apache Slider Download,目前最新0.91.0版本 ...

Storm Windowing(翻译)

窗口计算是流处理中常用的情况之一,在这种情况下,无边界数据流被按一定的标准(例如时间)分割成有限集合,并在每一组事件上应用计算。一个例子是在最近一小时内计算最热门的Twitter话题。...

2017/08/10 23:58
60
Trident Tutorial(翻译)

Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高阶...

2017/08/10 23:50
10

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部