加载中
Kafka各版本差异

从0.8.x,0.9.x,0.10.0.x,0.10.1.x,0.10.2.x,0.11.0.x,1.0.x或1.1.x升级到2.0.0 Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划,您可以保证在升级期间不会出现停机...

06/09 11:41
4
Is Hadoop secure for the enterprise?

转自 <https://www.xplenty.com/blog/is-hadoop-secure-for-the-enterprise/> Is Hadoop secure for the enterprise? This is the question that data analysts must answer if they want to...

2018/11/28 20:47
16
Time Semantics

在Core Concepts中介绍了三种语义Event time、Processing-time、Ingestion time。 这里需要注意的是:punctuate方法必须使用新数据才能触发。 时间语义设置 如何实现不同的时间语义主要取决于...

2017/08/23 16:06
32
High-Level Streams DSL(翻译)

To build a processor topology using the Streams DSL, developers can apply the KStreamBuilder class, which is extended from the TopologyBuilder. A simple example is included with...

2017/08/22 10:51
116
Low-level Processor API(翻译)

Processor Stream processor 是processor topology中的一个节点。 Processor API developers定义任意的流处理器,这些流处理器中包括接收数据的处理器、以及与状态存储相关的处理器,共同组成...

2017/08/22 10:33
14
Kafka Streams Core Concepts

Core Concepts Kafka Streams is a client library for processing and analyzing data stored in Kafka. It builds upon important stream processing concepts such as properly distingui...

2017/08/20 18:22
43
Kafka server.properties

0.8 version # Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional in...

SimpleConsumer(翻译)

Using SimpleConsumer Why use SimpleConsumer? The main reason to use a SimpleConsumer implementation is you want greater control over partition consumption than Consumer Groups g...

2017/08/17 14:43
17
Consumer Group Example-High Level Consumer(翻译)

Using the High Level Consumer Why use the High Level Consumer Sometimes the logic to read messages from Kafka doesn't care about handling the message offsets, it just wants the ...

2017/08/16 20:08
21
HDFS Federation(翻译)

这个指南提供了一个关于HDFS Federation 特性和怎么配置管理一个联邦集群的概览。 Background HDFS主要包括两层: Namespace 由目录,文件和块组成 支持所有文件系统操作包括增加,删除,修改...

2017/08/15 17:42
20
SparkStreaming Java

Spark streaming是Spark核心API的一个扩展,它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据,也可以通过由 ...

SparkSQL Java

SparkSQL是为了结构化数据处理准备的Spark模块。可以使用SQL、DataFrames、DataSets来跟SparkSQL交互。 1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于S...

Spark Java RDD基本操作

1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于Scala:工程不需要增加scala nature,即不需Add Scala Nature。若增加在java代码中调用scala library会有...

Storm Component基本接口

IComponent IComponent接口是所有组件的接口。 主要包含两个方法: declareOutputFields:为拓扑的所有流组件生命输出模式。 getComponentConfiguration:声明指定组件大的配置。只有"topolo...

2017/08/14 09:31
24
Storm Component基本抽象类

BaseComponent BaseComponent实现了IComponent接口。 package org.apache.storm.topology.base; import org.apache.storm.topology.IComponent; import java.util.Map; public abstract cla...

2017/08/14 09:31
8
Presto Installation

1 集群部署 1.1 集群环境 1.1.1 系统需求 Mac OS X or Linux(测试使用的Centos7.2) Java 8 Update 92 or higher (8u92+), 64-bit(测试使用的1.8.0_121,64-bit) 1.1.2 组件版本 Presto版本0.1...

2017/08/14 09:31
91
Introducing Presto

1 Presto简介 Presto是一个开源的分布式SQL查询引擎,支持从GB到PB数据量上的交互式分析查询。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的...

2017/08/14 09:30
43
Presto Oracle Plugin

1、ojdbc6 下载需要的ojdbc6版本jar包,放在/home/hadoop/Downloads/目录,后面需要将这个jar包添加到maven库中以便编译使用 下载地址:http://www.oracle.com/technetwork/database/enterp...

2017/08/14 09:30
191
MapReduce源码之FileOutputFormat

FileOutputFormat是所有基于文件的OutputFormat的基类。这个基类提供了checkOutputSpecs和getOutputCommitter的通用性实现。FileOutputFormat的子类需要覆写getRecordWriter方法来返回LineR...

2017/08/11 00:15
55
MapReduce源码之OutputFormat

OutputFormat抽象类描述输出数据的格式。getRecordWriter获取RecordWriter,RecordWriter的write方法将key/value写入文件。checkOutputSpecs验证输出目录或者其他的有效性。getOutputCommit...

2017/08/11 00:14
25

没有更多内容

加载失败,请刷新页面

返回顶部
顶部