加载中
Flume Installation

下载flume二进制安装包:apache-flume-1.6.0-bin.tar.gz http://www.apache.org/dist/flume/1.6.0/ http://www.apache.org/dist/flume/1.7.0/ 把apache-flume-1.6.0-bin.tar.gz文件存放在/op...

2017/08/10 23:09
21
flume-ng学习

简介 Flume简要来说是,是分布式实时数据采集系统,能够监控多种数据来源,然后传输给多种数据目标。常用的数据来源有日志文件、Socket、Kafka等;常见的数据目标有HDFS、Hbase、文件、Kafka...

kafka sink

flume版本1.6 kafka版本0.8.2 创建配置目录 mkdir /opt/beh/core/flume/conf.d 创建采集数据目录 mkdir /opt/beh/data/flume/kafka-agent 创建配置文件 /opt/beh/core/flume/conf.d/kafka-a...

2017/04/21 13:11
23
SparkStreaming Java

Spark streaming是Spark核心API的一个扩展,它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据,也可以通过由 ...

hadoop编译+native+snappy

本文介绍了hadoop编译的详细流程,包括依赖的安装,以及支持native和snappy库。 snappy 安装snappy snappy github 地址:[snappy]https://github.com/google/snappy/releases "snappy")选择1...

Apache Slider + Hbase

#Apache Slider + Hbase ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Hbase 0.98.21-hadoop A...

2016/09/08 17:15
184
Apache Slider编译安装

Apache Slider 简介 Apache Slider目前是Apache二级孵化项目,主要用途是在YARN上部署用户已有的服务或者组件,如:hbase,storm,kafka. 下载地址:Apache Slider Download,目前最新0.91.0版本 ...

TEZ计算引擎部署

一、tez简介 tez官网:http://tez.apache.org 在使用tez作为计算引擎使用之前先说明下tez-ui。tez-ui是查看tez任务执行日志的的web界面,依赖于yarn的timeline服务。tez0.8.3中又增加了tez-u...

Apache Slider + Storm

#Apache Slider + Storm ##系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Sto...

Kafka server.properties

0.8 version # Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional in...

Is Hadoop secure for the enterprise?

转自 <https://www.xplenty.com/blog/is-hadoop-secure-for-the-enterprise/> Is Hadoop secure for the enterprise? This is the question that data analysts must answer if they want to...

2018/11/28 20:47
16
eclipse+MapReduce

一、部署准备 操作系统:Centos7.2 Hadoop版本:Apache Hadoop 2.6.4 Java版本:1.7.0_79 Eclipse版本:Mars 二、Eclipse开发环境设置 第一步、下载插件部署 hadoop2x-eclipse-plugin的githu...

SparkSQL Java

SparkSQL是为了结构化数据处理准备的Spark模块。可以使用SQL、DataFrames、DataSets来跟SparkSQL交互。 1、项目创建 关于Java:选用1.7或者1.8.为了通用性,本章内容使用1.7进行编写。 关于S...

hadoop命令执行hbase应用jar包时的环境变量加载问题

#问题描述 使用hadoop命令执行hbase应用jar包时,报如下错误: [hadoop@ breath ~]$ hadoop jar ~/HbaseTest-0.1.jar Test.HtableCreate Exception in thread "main" java.lang.NoClassDefFo...

Java 日志框架解析

作为Java程序员,幸运的是,Java 拥有功能和性能都非常强大的日志库;不幸的是,这样的日志库有不止一个——相信每个人都曾经迷失在JUL(Java Util Log), JCL(Commons Logging), Log4j, SLF4...

SQuirrel SQL Client 连接Hive

SQuirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL、PostgreSQL、MSSQL、Oracle、Hive等等任何支持JDBC访问的数据库...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部