加载中
Windows 安装运行 Apache Kafka 教程

下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookee...

2012/08/26 02:56
660
分布式消息系统 Kafka 简介

Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 ...

2014/08/19 02:22
1K
如何用 Hadoop/Spark 构建七牛数据平台

数据平台在大部分公司都属于支撑性平台,做的不好立刻会被吐槽,这点和运维部门很像。所以在技术选型上优先考虑现成的工具,快速出成果,没必要去担心有技术负担。早期,我们走过弯路,认为没...

storm kafka 编程指南

一、原理及关键步骤介绍 storm中的storm-kafka组件提供了storm与kafka交互的所需的所有功能,请参考其官方文档:https://github.com/apache/storm/tree/master/external/storm-kafka#broker...

2012/06/27 09:47
1K
kafka数据可靠性深度解读

1 概述 Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式系统,易于向外扩展; 它同时为发布和订阅提供高吞吐量; 它支持多订阅者,当失败时能自动平衡消费者; 它将消息持久化到...

2012/07/20 22:10
2.5K
Flink

1、Flink 靠什么征服饿了么工程师? https://mp.weixin.qq.com/s/jCsUJ4HGLcFI1JRhAmeDcg 2、Spark Streaming VS Flink https://mp.weixin.qq.com/s/JYkylUHAxOtzXLcRlCSRZA 3、Flink解析 | ...

2015/05/29 02:24
841
很到位!原来这才是Kafka的“真面目”

简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作...

2013/01/22 01:17
4.9K
Spark 学习资源收集【Updating】

(一)spark 相关安装部署、开发环境 1、Spark 伪分布式 & 全分布式 安装指南 http://my.oschina.net/leejun2005/blog/394928 2、Apache Spark探秘:三种分布式部署方式比较 http://dongxic...

OPPO 数据中台之基石:基于 Flink SQL 构建实数据仓库

本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor。 本文主要内容如下: OPPO 实时数仓的...

2013/01/18 01:33
2.2K
有赞埋点实践

一、前言 大数据应用一般会有采集、加工、存储、计算及可视化这几个环节。其中采集作为源头,在确保全面、准确、及时的前提下,最终加工出来的指标结果才是有价值的。 而埋点作为一种重要的采...

Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

2014/07/08 01:46
56.3K
5 分钟从零构建第一个 Apache Flink 应用

在本文中,我们将从零开始,教您如何构建第一个Apache Flink (以下简称Flink)应用程序。 1、开发环境准备 Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序...

2013/06/25 22:08
13.5K
分布式调用跟踪系统架构设计与实践

0、前言 随着美团点评的业务发展,公司的分布式系统变得越来越复杂,我们亟需一个工具能够梳理内部服务之间的关系,感知上下游服务的形态。比如一次请求的流量从哪个服务而来、最终落到了哪个...

2015/01/03 02:06
678
转转数据平台部诚招 Java、大数据工程师、架构师

转转作为国内领先的二手电商交易平台,全平台交易额较2016年增幅超过200%达到210.64亿元,同时平台交易订单量达5698万,同比2016年增长了269.76%,欢迎对技术执着、对电商有兴趣的同学加入转...

2012/09/08 15:18
702
数据仓库架构演进与菜鸟实时数据仓库设计

1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。 数据仓库...

Zookeeper 原理与实践

1、Zookeeper 的由来 在Hadoop生态系统中,许多项目的Logo都采用了动物,比如 Hadoop 和 Hive 采用了大象的形象,HBase 采用了海豚的形象,而从字面上来看 ZooKeeper 表示动物园管理员,所以...

2012/09/05 18:46
861
Druid 驱动海量实时多维分析

我今天分享的话题是Druid驱动海量数据实时多维分析。 1、需求背景 首先我来谈一下海量实时多维分析的需求背景,我们广告系统有DSP睿视系统和AD exchange等,前段时间品友的曹老师分享时提到D...

2016/06/26 16:11
1K
玩转 Nginx 之:使用 Lua 扩展 Nginx 功能

1、Nginx 简介 Nginx 作为一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势。其流行度越来越高,应用也越来越广泛,常见的应用有:网页服务器、反向代理...

2015/08/19 05:02
11.3K
Kylin 2.0 升级总结

我从5月中旬开始进行Kylin 2.0的升级,现在的版本是Kylin 1.5.4.1。本次升级的所有工作均由我一人完成,升级耗时和我之前估计的差不多,1个月左右,其中每天平均半天左右的时间在当“客服”(...

2012/08/27 10:32
5.2K
分布式大数据多维分析引擎:Kylin 在百度地图的实践

1. 前言 百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析,处理日常百亿级规模数据,为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务。 对于Apache ...

2016/05/04 02:26
3.5K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部