加载中
MapReduce Map Join 样例

Hadoop MapReduce Map Join

2015/11/11 13:17
493
Hadoop辅助排序样例二

Hadoop MapReduce 辅助排序

2015/11/10 12:44
165
Hadoop辅助排序样例一

Hadoop MapReduce 辅助排序

2015/11/09 19:23
162
Spark 集群部署

本文将接受 Spark 集群的部署方式,包括无 HA、Spark Standalone HA 和 基于 ZooKeeper 的 HA 三种。 环境:CentOS6.6 、 JDK1.7.0_80 、 关闭防火墙 、 配置好 hosts 和 SSH 免密码、Spark...

2015/09/14 23:42
1K
Spark 编译

1.编译环境 CentOS6.6 JDK1.7.0_80 Maven3.2.5 2.下载Spark源代码并解压 [yyl@vmnode ~]$ pwd /home/yyl [yyl@vmnode make]$ pwd /home/yyl/make [yyl@vmnode make]$ wget http://mirrors.c...

2015/09/13 14:46
783
搭建Spark源码阅读环境

1.安装JDK1.7、Maven3.2.5、Scala2.10.4 2.下载解压Spark1.4.0 下载地址:http://mirrors.cnnic.cn/apache/spark/spark-1.4.0/spark-1.4.0.tgz 3.下载安装 IntelliJ IDEA 14.1.4,给IDEA安装...

2015/08/30 05:02
3K
HiveServer 与 HiveServer2

今天在使用 hive --service hiveserver 命令启动 hiveserver 时出错了,hive版本1.2.0 ,错误信息如下: -bash-4.1$ hive --service hiveserver -p 10002 & Starting Hive Thrift Server Ex...

2015/08/25 14:20
5.8K
Hadoop2 namenode HA + 联邦 + Resource Manager HA 实验

实验的Hadoop版本为2.5.2,硬件环境是5台虚拟机,使用的均是CentOS6.6操作系统,虚拟机IP和hostname分别为: 192.168.63.171 node1.zhch 192.168.63.172 node2.zhch 192.168.63.173 node3.z...

2015/08/24 21:20
412
Hadoop2 namenode 联邦 实验

实验的Hadoop版本为2.5.2,硬件环境是5台虚拟机,使用的均是CentOS6.6操作系统,虚拟机IP和hostname分别为: 192.168.63.171 node1.zhch 192.168.63.172 node2.zhch 192.168.63.173 node3.z...

2015/08/24 18:44
229
Hadoop2 namenode HA 实验

实验的Hadoop版本为2.5.2,硬件环境是5台虚拟机,使用的均是CentOS6.6操作系统,虚拟机IP和hostname分别为: 192.168.63.171 node1.zhch 192.168.63.172 node2.zhch 192.168.63.173 node3.z...

2015/08/23 16:42
558
hive join 空指针异常

2015-07-28 10:03:21,557 Stage-2 map = 100%, reduce = 0% Ended Job = job_1437720498561_1035 with errors Error during job, obtaining debugging information... Examining task ID: t...

2015/07/28 10:13
560
hive union all 数据丢失问题优化

源语句: insert overwrite table TEST3 select '19' UNIT_ID, STAFF_CODE,STAFF_ID,STAFF_NAME, 0 LEVEL from TEST1 union all select tc.CENTER_ID UNIT_ID, th.STAFF_CODE,th.STAFF_ID,th...

2015/07/24 18:07
509
Kafka安装

1.Kafka基本术语 Producer :消息生产者,就是向kafka broker发消息的客户端 Consumer :消息消费者,向kafka broker取消息的客户端 Topic :话题,可以理解为一个队列 Consumer Group (CG)...

2015/06/06 23:48
750
Storm On Yarn 安装部署

1. 安装 JDK7 和 Maven 2. 部署Hadoop2集群,并启动yarn http://my.oschina.net/zc741520/blog/362824 3. 下载 Storm on Yarn [grid@hadoop4 ~]$ wget https://github.com/yahoo/storm-yarn...

2015/05/25 00:51
833
Storm Trident 详细介绍

一、概要 1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架。 具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sen...

2015/05/17 20:55
642
Hadoop2开发环境

使用Maven创建Hadoop2项目     <dependencies>         <dependency>             <groupId>jdk.tools</groupId>             <artifactId>jdk.tools</artifactId>    ...

2015/05/17 00:20
195
Storm实验 -- DRPC的使用

1. 修改所有节点的 storm.yaml 配置文件,设置 drpc server [grid@hadoop6 ~]$ vim storm-0.9.4/conf/storm.yaml drpc.servers: - "hadoop4" 2. 启动drcp服务 storm drpc & 3. 编写服务...

2015/05/05 00:12
983
Storm实验 -- 单词计数4

在上一次单词计数的基础上做如下改动: 使用 自定义 分组策略,将首字母相同的单词发送给同一个task计数 自定义 CustomStreamGrouping package com.zhch.v4; import backtype.storm.generat...

2015/05/03 22:04
139
Storm实验 -- 单词计数3

在上一次单词计数的基础上做如下改动: 使用 Direct Grouping 分组策略,将首字母相同的单词发送给同一个task计数 数据源spout package com.zhch.v3; import backtype.storm.spout.SpoutOu...

2015/05/03 21:09
203
Storm实验 -- 单词计数2

在上一次单词计数的基础上做如下改动: 1. 使用可靠的消息处理机制 2. 配置 worker 、executor、task 数量 3. 使用集群模式提交 数据源spout package com.zhch.v2; import backtype.storm.s...

2015/05/03 18:25
170

没有更多内容

加载失败,请刷新页面

返回顶部
顶部