加载中
TEZ计算引擎部署

一、tez简介 tez官网:http://tez.apache.org 在使用tez作为计算引擎使用之前先说明下tez-ui。tez-ui是查看tez任务执行日志的的web界面,依赖于yarn的timeline服务。tez0.8.3中又增加了tez-u...

MapReduce的maven依赖

<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <hadoop.version>2.6.0</hadoop.version> </properties> <dependencies> <dependency> <groupId>org.apa...

hadoop编译+native+snappy

本文介绍了hadoop编译的详细流程,包括依赖的安装,以及支持native和snappy库。 snappy 安装snappy snappy github 地址:[snappy]https://github.com/google/snappy/releases "snappy")选择1...

Apache Slider编译安装

Apache Slider 简介 Apache Slider目前是Apache二级孵化项目,主要用途是在YARN上部署用户已有的服务或者组件,如:hbase,storm,kafka. 下载地址:Apache Slider Download,目前最新0.91.0版本 ...

eclipse+MapReduce

一、部署准备 操作系统:Centos7.2 Hadoop版本:Apache Hadoop 2.6.4 Java版本:1.7.0_79 Eclipse版本:Mars 二、Eclipse开发环境设置 第一步、下载插件部署 hadoop2x-eclipse-plugin的githu...

hadoop命令执行hbase应用jar包时的环境变量加载问题

#问题描述 使用hadoop命令执行hbase应用jar包时,报如下错误: [hadoop@ breath ~]$ hadoop jar ~/HbaseTest-0.1.jar Test.HtableCreate Exception in thread "main" java.lang.NoClassDefFo...

Spark中WordCount示例

创建工程 在eclipse中创建一个Scala工程,名为WordCountSpark。 File -> New -> Other -> Scala Wizards -> Scala Project 点击创建 点击Finish创建 在WordCountSpark上点击右键 -> Configu...

2017/04/06 16:23
59
Zookeeper CancelledKeyException

随着生产集群里应用的增多,zookeeper的压力越来越大,resourcemanager出现了异常挂起。 延迟问题 首先是“fsync-ing the write ahead log in SyncThread:3 took 1606ms which will adversel...

2017/08/10 21:34
324
数据行去重

Dedup import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoo...

2016/08/29 18:26
16
字段过滤

Filter 对于字段的过滤操作只需要map即可,不会产生reduce。 /* 字段依次为:编号 姓名 学科 分数。 获取:姓名为zyl的学生。结果只取字段:姓名 学科 分数 input: *1 zyl English 80 *2 z...

Group+Count+Sum

GroupOpration 字段依次为: _编号No 姓名Name 学科Subject 分数Score _ 功能:按用户获取count(1)和sum(分数) SQL表示: _select Name,count(1),sum(score) from table where Name in ('zy...

Group+Count+Sum(Combiner)

GroupOpration2 接上一篇Group+Count+Sum 字段依次为:编号No 姓名Name 学科Subject 分数Score。 获取:按用户获取count(1)和sum(分数) input: 1 zyl English 80 2 zyl Math 50 3 lyy Engli...

mapreduce.job.reduce.slowstart.completedmaps

集群描述 YARN情况如下: NodeManager个数为20 每个Nodemanager分配内存为104G左右。 每个container内存设置为4G,可生成约520个container。 资源调度方式为fair scheduler。 加工数据 加工数...

2016/09/19 15:24
294
WordCount

WordCount import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.i...

Zookeeper Introduction

问题思考 对于 hadoop 生态系统来说,有几个问题需要通过分布式协调服务来解决: 高可用性的主节点选举。对于集群各服务,如 HDFS、YARN、HBASE、SPARK 等如何保证同一时间只有一个主节点对外提...

2017/08/09 12:28
22
Is Hadoop secure for the enterprise?

转自 <https://www.xplenty.com/blog/is-hadoop-secure-for-the-enterprise/> Is Hadoop secure for the enterprise? This is the question that data analysts must answer if they want to...

2018/11/28 20:47
16
Spark Java RDD基本操作

1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于Scala:工程不需要增加scala nature,即不需Add Scala Nature。若增加在java代码中调用scala library会有...

Apache Slider + Storm

#Apache Slider + Storm ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Sto...

Apache Slider + Hbase

#Apache Slider + Hbase ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Hbase 0.98.21-hadoop A...

2016/09/08 17:15
184
编译impala

Install Dependencies for root user Install Rpms yum install -y libevent-devel automake libtool flex bison gcc-c++ openssl-devel make cmake doxygen glib-devel python-devel bzip2-...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部