加载中
Apache Slider + Storm

#Apache Slider + Storm ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Sto...

Storm Component基本接口

IComponent IComponent接口是所有组件的接口。 主要包含两个方法: declareOutputFields:为拓扑的所有流组件生命输出模式。 getComponentConfiguration:声明指定组件大的配置。只有"topolo...

2017/08/14 09:31
25
Storm Windowing(翻译)

窗口计算是流处理中常用的情况之一,在这种情况下,无边界数据流被按一定的标准(例如时间)分割成有限集合,并在每一组事件上应用计算。一个例子是在最近一小时内计算最热门的Twitter话题。...

2017/08/10 23:58
61
Zookeeper CancelledKeyException

随着生产集群里应用的增多,zookeeper的压力越来越大,resourcemanager出现了异常挂起。 延迟问题 首先是“fsync-ing the write ahead log in SyncThread:3 took 1606ms which will adversel...

2017/08/10 21:34
338
Trident Tutorial(翻译)

Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高阶...

2017/08/10 23:50
10
Apache Slider编译安装

Apache Slider 简介 Apache Slider目前是Apache二级孵化项目,主要用途是在YARN上部署用户已有的服务或者组件,如:hbase,storm,kafka. 下载地址:Apache Slider Download,目前最新0.91.0版本 ...

Trident API(翻译)

Trident API Overview Trident 的核心数据模型是“流”(Stream),进行数据处理的时候,将数据作为一系列的batch(批)来进行。流被分割成多个partition分布在集群中的不同节点上来运行,而且...

2017/08/10 23:51
22
Trident State(翻译)

Trident 是对状态化(stateful)数据源进行读取和写入操作的最好抽象。状态(state)既可以保存在拓扑内部(例如保存在内存中并备份到HDFS上),也可以存入像Memcached或者Cassandra这样的外...

2017/08/10 23:54
21
hadoop编译+native+snappy

本文介绍了hadoop编译的详细流程,包括依赖的安装,以及支持native和snappy库。 snappy 安装snappy snappy github 地址:[snappy]https://github.com/google/snappy/releases "snappy")选择1...

Apache Slider + Hbase

#Apache Slider + Hbase ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Hbase 0.98.21-hadoop A...

2016/09/08 17:15
184
Flume Installation

下载flume二进制安装包:apache-flume-1.6.0-bin.tar.gz http://www.apache.org/dist/flume/1.6.0/ http://www.apache.org/dist/flume/1.7.0/ 把apache-flume-1.6.0-bin.tar.gz文件存放在/op...

2017/08/10 23:09
21
TEZ计算引擎部署

一、tez简介 tez官网:http://tez.apache.org 在使用tez作为计算引擎使用之前先说明下tez-ui。tez-ui是查看tez任务执行日志的的web界面,依赖于yarn的timeline服务。tez0.8.3中又增加了tez-u...

Kafka server.properties

0.8 version # Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional in...

Is Hadoop secure for the enterprise?

转自 <https://www.xplenty.com/blog/is-hadoop-secure-for-the-enterprise/> Is Hadoop secure for the enterprise? This is the question that data analysts must answer if they want to...

2018/11/28 20:47
16
eclipse+MapReduce

一、部署准备 操作系统:Centos7.2 Hadoop版本:Apache Hadoop 2.6.4 Java版本:1.7.0_79 Eclipse版本:Mars 二、Eclipse开发环境设置 第一步、下载插件部署 hadoop2x-eclipse-plugin的githu...

SparkSQL Java

SparkSQL是为了结构化数据处理准备的Spark模块。可以使用SQL、DataFrames、DataSets来跟SparkSQL交互。 1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于S...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部