加载中
SparkSQL Java

SparkSQL是为了结构化数据处理准备的Spark模块。可以使用SQL、DataFrames、DataSets来跟SparkSQL交互。 1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于S...

Spark中WordCount示例

创建工程 在eclipse中创建一个Scala工程,名为WordCountSpark。 File -> New -> Other -> Scala Wizards -> Scala Project 点击创建 点击Finish创建 在WordCountSpark上点击右键 -> Configu...

2017/04/06 16:23
60
Spark Java RDD基本操作

1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于Scala:工程不需要增加scala nature,即不需Add Scala Nature。若增加在java代码中调用scala library会有...

SparkStreaming Java

Spark streaming是Spark核心API的一个扩展,它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据,也可以通过由 ...

Spark输出压缩文件

Spark中保存文件为各种压缩类型。 import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.io.compress.GzipCodec import org.apache.hadoop.i...

TEZ计算引擎部署

一、tez简介 tez官网:http://tez.apache.org 在使用tez作为计算引擎使用之前先说明下tez-ui。tez-ui是查看tez任务执行日志的的web界面,依赖于yarn的timeline服务。tez0.8.3中又增加了tez-u...

Zookeeper Introduction

问题思考 对于 hadoop 生态系统来说,有几个问题需要通过分布式协调服务来解决: 高可用性的主节点选举。对于集群各服务,如 HDFS、YARN、HBASE、SPARK 等如何保证同一时间只有一个主节点对外提...

2017/08/09 12:28
23
hadoop编译+native+snappy

本文介绍了hadoop编译的详细流程,包括依赖的安装,以及支持native和snappy库。 snappy 安装snappy snappy github 地址:[snappy]https://github.com/google/snappy/releases "snappy")选择1...

Apache Slider + Hbase

#Apache Slider + Hbase ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Hbase 0.98.21-hadoop A...

2016/09/08 17:15
184
Flume Installation

下载flume二进制安装包:apache-flume-1.6.0-bin.tar.gz http://www.apache.org/dist/flume/1.6.0/ http://www.apache.org/dist/flume/1.7.0/ 把apache-flume-1.6.0-bin.tar.gz文件存放在/op...

2017/08/10 23:09
21
Apache Slider编译安装

Apache Slider 简介 Apache Slider目前是Apache二级孵化项目,主要用途是在YARN上部署用户已有的服务或者组件,如:hbase,storm,kafka. 下载地址:Apache Slider Download,目前最新0.91.0版本 ...

Apache Slider + Storm

#Apache Slider + Storm ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Sto...

Kafka server.properties

0.8 version # Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional in...

Is Hadoop secure for the enterprise?

转自 <https://www.xplenty.com/blog/is-hadoop-secure-for-the-enterprise/> Is Hadoop secure for the enterprise? This is the question that data analysts must answer if they want to...

2018/11/28 20:47
16
eclipse+MapReduce

一、部署准备 操作系统:Centos7.2 Hadoop版本:Apache Hadoop 2.6.4 Java版本:1.7.0_79 Eclipse版本:Mars 二、Eclipse开发环境设置 第一步、下载插件部署 hadoop2x-eclipse-plugin的githu...

hadoop命令执行hbase应用jar包时的环境变量加载问题

#问题描述 使用hadoop命令执行hbase应用jar包时,报如下错误: [hadoop@ breath ~]$ hadoop jar ~/HbaseTest-0.1.jar Test.HtableCreate Exception in thread "main" java.lang.NoClassDefFo...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部