加载中
分布式锁与实现(二)——基于ZooKeeper实现

引言 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包...

2018/09/12 19:01
3
干货strom工作原理

Storm中Numbus,zookeeper,Supervisor,worker作用,Storm任务提交过程,Storm组件本地目录树,Storm zookeeper目录树 1、Storm 任务提交的过程 2、Storm组件本地目录树 3、Storm zookeeper目...

dubbo学习记录

dubbo学习记录

2014/10/07 23:46
68
数据库MySQL,Mongodb,Redis及Zookeeper集群搭建文档

数据库MySQL,Mongodb,Redis及Zookeeper集群搭建文档 为什么要用集群 为什么我们要用集群? 首先是集群的高可用性: 构建集群的一个最大亮点和优点就是集群都具有高可用性,可以提供不间断性...

Linux(CentOS)下安装Dubbo管理控制台(dubbo-admin-2.5.4)

Dubbo管控台可以对注册到zookeeper注册中心的服务或服务消费者进行管理。但管控台是否正常对Dubbo服务没有影响,管控台也不需要高可用,因此可以单点部署。 1、下载dubbo管控台war包 下载dub...

Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于...

2018/09/28 18:45
11
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那...

2015/06/27 23:48
142
Storm在zookeeper上的目录结构

[this storm-id]) (teardown-topology-errors! [this storm-id]) (heartbeat-storms [this]) (error-topologies [this]) (worker-heartbeat! [this storm-id node port info]) (remove-worke...

分布式锁与实现(一)——基于Redis实现

概述 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consisten...

2018/09/12 19:02
30
Storm在Zookeeper中的目录结构

/-{storm-zk-root} -- storm在zookeeper上的根 | 目录 | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个下面保存的是每个 | topology的assignments | 信息包括:...

Kafka在zookeeper中的存储

一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topic...

HBase常用操作命令

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,...

最通俗易懂Storm教程

概述: storm集群有nimbus、supervisor组成 storm集群nimbus只有一个,supervisor可以多个 讲故事: 故事1: nimbus就是老板,supervisor就是包工头,worker就是工人。 Topology就是一车砖头...

Hive和HBase的区别

hive是文件的视图,hbase是建了索引的key-value表。 先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。...

storm中worker、executor、task之间的关系

理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系 先来看一张图 (图片来自:http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_su...

Storm目录树、任务提交、消息容错、通信机制

Storm技术增强 注:学习本课程,请先学习Storm基础 课程目标: 通过本模块的学习,能够掌握Storm底层的通信机制、消息容错机制、storm目录树及任务提交流程。 课程大纲: 1、 Storm程序的并发...

CDH5 hadoop-hive-habse单机版配置

CDH5 hadoop-hive-habse单机版配置 一、安装环境: OS:CentOS6.5 64位 JDK:jdk-7u72-linux-x64 hadoop:hadoop-2.3.0-cdh5.0.0. hbase:hbase-0.96.1.1-cdh5.0.0. hive:hive-0.12.0-cdh5.0.0....

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部