加载中
CDH5 hadoop-hive-habse单机版配置

CDH5 hadoop-hive-habse单机版配置 一、安装环境: OS:CentOS6.5 64位 JDK:jdk-7u72-linux-x64 hadoop:hadoop-2.3.0-cdh5.0.0. hbase:hbase-0.96.1.1-cdh5.0.0. hive:hive-0.12.0-cdh5.0.0....

最通俗易懂Storm教程

概述: storm集群有nimbus、supervisor组成 storm集群nimbus只有一个,supervisor可以多个 讲故事: 故事1: nimbus就是老板,supervisor就是包工头,worker就是工人。 Topology就是一车砖头...

如何做一个技术全面的架构师

本文从六个方面讨论一个良好架构师所必须具备的专业水准。 作为领导 好的软件架构师必须知道,他们作为领导者的作用不一定是告诉开发人员做什么。 相反,好的架构师的行为本身就像一个指导,...

2018/12/26 17:13
12
HBase总结-Java API 与HBase交互实例

package com.unilife.utils.persistence; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apa...

2018/10/09 19:12
11
Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于...

2018/09/28 18:45
11
kafka生产者、消费者java示例

1. 生产者 package com.unilife.myKafka; import java.util.Properties; import kafka.producer.Producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.ka...

2018/09/28 18:41
7
Kafka在zookeeper中的存储

一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topic...

storm中worker、executor、task之间的关系

理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系 先来看一张图 (图片来自:http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_su...

storm的利用并行度提高处理速度的经验

在storm的流计算框架中,在数据量非常大或者计算逻辑比较复杂的情况下,可能会造成处理速度变慢的情况,最后反而不满足了系统的处理要求,因此这里讨论一下。本文的内容是我在storm的使用过程...

2018/09/26 21:55
4
Storm 并行度分配原理及优化

当一个topology在storm cluster中运行时,它的并发主要跟3个逻辑对象相关:worker,executor 和task 1. Worker 是运行在工作节点上面,被Supervisor守护进程创建的用来干活的JVM进程。每个W...

2018/09/26 21:53
1
Storm在Zookeeper中的目录结构

/-{storm-zk-root} -- storm在zookeeper上的根 | 目录 | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个下面保存的是每个 | topology的assignments | 信息包括:...

Storm在zookeeper上的目录结构

[this storm-id]) (teardown-topology-errors! [this storm-id]) (heartbeat-storms [this]) (error-topologies [this]) (worker-heartbeat! [this storm-id node port info]) (remove-worke...

干货strom工作原理

Storm中Numbus,zookeeper,Supervisor,worker作用,Storm任务提交过程,Storm组件本地目录树,Storm zookeeper目录树 1、Storm 任务提交的过程 2、Storm组件本地目录树 3、Storm zookeeper目...

Storm目录树、任务提交、消息容错、通信机制

Storm技术增强 注:学习本课程,请先学习Storm基础 课程目标: 通过本模块的学习,能够掌握Storm底层的通信机制、消息容错机制、storm目录树及任务提交流程。 课程大纲: 1、 Storm程序的并发...

Storm的通信机制

目录 前言: 1、Worker进程间通信原理 2、Worker进程间技术(Netty、ZeroMQ) 3、Worker 内部通信技术(Disruptor) 总结: 目录 前言: 这篇文章,博客主要介绍下Storm中Worker进程间和进程内部...

Hive和HBase的区别

hive是文件的视图,hbase是建了索引的key-value表。 先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。...

HBase常用操作命令

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,...

Hive扩展功能(二)--HWI接口

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.16...

2018/09/19 16:05
4
YARN框架

1. 新一代的框架介绍 YARN的职能就是将资源调度和任务调度分开。资源管理器ResourceManager全局管理所有应用程序计算资源的分配,每一个job的ApplicationMaster负责相应任务的调度和协调。 ...

大数据Hadoop之 YARN认识

大数据Hadoop之 YARN认识2 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部