加载中
CDH5 hadoop-hive-habse单机版配置

CDH5 hadoop-hive-habse单机版配置 一、安装环境: OS:CentOS6.5 64位 JDK:jdk-7u72-linux-x64 hadoop:hadoop-2.3.0-cdh5.0.0. hbase:hbase-0.96.1.1-cdh5.0.0. hive:hive-0.12.0-cdh5.0.0....

Hive和HBase的区别

hive是文件的视图,hbase是建了索引的key-value表。 先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是配合使用。...

Hadoop Yarn详解

一、Yarn简介 Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构,我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前,我们先回头看一下Hadoop1.x对M...

大数据"怎么搞"

随着大数据的爆红,数据分析师这个职位也得到了越来越多的关注,千千万万懂些大数据技术的少年们都渴望成为高大上的“大数据科学家”,可是,你们真的准备好了吗? 1、最早的数据分析可能就报...

2015/01/05 07:05
75
大数据Hadoop之 YARN认识

大数据Hadoop之 YARN认识2 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。...

大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那...

2015/06/27 23:48
142
最通俗易懂Storm教程

概述: storm集群有nimbus、supervisor组成 storm集群nimbus只有一个,supervisor可以多个 讲故事: 故事1: nimbus就是老板,supervisor就是包工头,worker就是工人。 Topology就是一车砖头...

YARN框架

1. 新一代的框架介绍 YARN的职能就是将资源调度和任务调度分开。资源管理器ResourceManager全局管理所有应用程序计算资源的分配,每一个job的ApplicationMaster负责相应任务的调度和协调。 ...

HBase常用操作命令

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,...

分布式锁与实现(二)——基于ZooKeeper实现

引言 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包...

2018/09/12 19:01
3
hadoop的三大核心组件之HDFS和YARN

Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。 (1)HDFS集群:负责海量数据的存储,集群中的角色主要有 Na...

2018/09/17 15:21
44
初识HDFS(10分钟了解HDFS、NameNode和DataNode)

概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本...

2018/09/17 14:58
7
ELK5.0 (Elasticsearch Logstash Kibana) 搭建部署

Elasticsearch+Logstash+Kibana 实时在线日志分析系统 文件下载地址:https://www.elastic.co/downloads/past-releases 环境 centOS 6.8 jdk1.8 一、安装Elasticsearch 1.下载好安装包 并解压...

Flume使用介绍

1、Flume介绍 Flume是cloudera公司开源的一款分布式、可靠地进行大量日志数据采集、聚合和并转移到存储中;通过事务机制提供了可靠的消息传输支持,自带负载均衡机制来支撑水平扩展;并且提供...

2017/10/19 13:30
20
JVM架构和GC垃圾回收机制(JVM面试不用愁)

JVM架构和GC垃圾回收机制详解 JVM架构图分析 下图:参考网络+书籍,如有侵权请见谅 (想了解Hadoop内存溢出请看: Hadoop内存溢出(OOM)分类、参数调优化) JVM被分为三个主要的子系统 (1)类...

2018/09/09 22:10
35
Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于...

2018/09/28 18:45
11
java处理高并发高负载类网站中数据库的设计方法

java处理高并发高负载类网站中数据库的设计方法

2014/06/17 07:37
249

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部