加载中
Zookeeper Introduction

问题思考 对于 hadoop 生态系统来说,有几个问题需要通过分布式协调服务来解决: 高可用性的主节点选举。对于集群各服务,如 HDFS、YARN、HBASE、SPARK 等如何保证同一时间只有一个主节点对外提...

2017/08/09 12:28
22
Zookeeper CancelledKeyException

随着生产集群里应用的增多,zookeeper的压力越来越大,resourcemanager出现了异常挂起。 延迟问题 首先是“fsync-ing the write ahead log in SyncThread:3 took 1606ms which will adversel...

2017/08/10 21:34
329
Kafka server.properties

0.8 version # Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional in...

Apache Slider + Hbase

#Apache Slider + Hbase ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Hbase 0.98.21-hadoop A...

2016/09/08 17:15
184
Hadoop Introduction

1 简介 HDFS分布式文件系统,即Hadoop Distributed Filesystem,是一个分布式文件系统,被设计部署在廉价硬件上。HDFS是一个高容错,被设计部署在廉价硬件上。HDFS提供高吞吐量访问数据,并且...

Kafka Spout Offset存储在Zookeeper

Kafka Spout Offset存储在Zookeeper,配置中需要单独指定SpoutConfig.zkPort和SpoutConfig.zkServers,否则无法生效。 import java.util.ArrayList; import java.util.List; import org.apac...

Apache Slider编译安装

Apache Slider 简介 Apache Slider目前是Apache二级孵化项目,主要用途是在YARN上部署用户已有的服务或者组件,如:hbase,storm,kafka. 下载地址:Apache Slider Download,目前最新0.91.0版本 ...

flume-ng学习

简介 Flume简要来说是,是分布式实时数据采集系统,能够监控多种数据来源,然后传输给多种数据目标。常用的数据来源有日志文件、Socket、Kafka等;常见的数据目标有HDFS、Hbase、文件、Kafka...

Apache Slider + Storm

#Apache Slider + Storm ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Sto...

Kafka各版本差异

从0.8.x,0.9.x,0.10.0.x,0.10.1.x,0.10.2.x,0.11.0.x,1.0.x或1.1.x升级到2.0.0 Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划,您可以保证在升级期间不会出现停机...

06/09 11:41
4
Trident Tutorial(翻译)

Trident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高阶...

2017/08/10 23:50
10
Spark Java RDD基本操作

1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于Scala:工程不需要增加scala nature,即不需Add Scala Nature。若增加在java代码中调用scala library会有...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部