本文档为使用Ambari快速构建大数据集群的参考文档。我们将使用下表所示3台服务器构建大数据集群，使用xwhadoop225作为Ambari Server，使用xwhadoop225～xwhadoop227作为Ambari Agent。具体步...

官网原文如下: 9.2.10. Additional Import Configuration Properties There are some additional properties which can be configured by modifying conf/sqoop-site.xml. Properties can be...

7.2.4 并行度控制 Sqoop并行地从大多数数据库源导入数据。您可以使用-m或--num-mappers参数指定用于执行导入的map任务(并行进程)的数量。每个参数都取一个整数值，该整数值对应于要使用的并行...

上传azkaban-3.60.0-bin.zip 解压azkaban-3.60.0-bin.zip unzip azkaban-3.60.0-bin.zip 创建软连接 ln -s azkaban-3.60.0-bin azkaban 进入主目录 cd azkaban 查看程序文件 ls 显示如下 az...

下载源码包: azkaban-3.60.0.zip https://github.com/azkaban/azkaban/releases 解压源码包 unzip azkaban-3.60.0.zip cd azkaban-3.60.0/ SQL文件: cd azkaban-db/ ../gradlew installDist...

CDH版本：5.7.0 新Kafka版本：1.0.1 一、下载Kafka parcel文件 http://archive.cloudera.com/kafka/parcels/3.1.1.2/ KAFKA-3.1.1-1.3.1.1.p0.2-sles11.parcel KAFKA-3.1.1-1.3.1.1.p0.2-sle...

Git教程链接： Git教程

现有商户每日交易汇总数据文件merch_trade_stat.txt，如下：(三列数据以','分隔，分别是商户ID、交易日期、日交易金额) [root@node1 ~]$ more merch_trade_day_stat.txt 1,2017-07-01,100 1,...

使用CopyTable进行HBase表备份 $HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=newtable --peer.adr=zookeeperhbase.zookeeper.quorum:2181:/hbase oldtabl...

看到一个kafka官网文档翻译的网站，很不错。附上链接： Kafka_2.11-0.10.1.0官方文档翻译

并发编程网翻译的Spark官网文档链接： Spark-1.6.0官方文档翻译

Hive中日期格式转换，可参考下面的例子 from_unixtime(unix_timestamp('20170608111213', 'yyyyMMddHHmmss'), 'yyyy-MM-dd HH:mm:ss')......

【绳子类】 1、 一条绳子（粗细不均，长短不一），从一头点燃，全部烧完要耗时1个小时，问如何用这条绳子测出半个小时？（初级） 2、 有一些绳子（粗细不均，长短不一），但是每根绳子点燃后...

离线环境获取Docker镜像 离线环境获取Docker镜像，有两种方式 一. 搭建本地Docker仓库，从本地仓库中获取Docker镜像 这种方式暂不详述。 二. 在可以访问外网的服务器上，下载Docker镜像，通过...

环境准备： 安装并配置好Java Runtime Environment (JRE) 1.7 或更高版本。通过以下命令验证 [root@node01 ~]# java -version java version "1.7.0_80" Java(TM) SE Runtime Environment (bu...

使用Docker安装Oracle 12c 假设你的服务器已成功安装Docker，继续进行以下操作： 1. 启动Docker [root@node01 ~]# service docker start 2. 从远程仓库搜索oracle image [root@node01 ~]# d...

下面基于《Hadoop权威指南 第二版》374页图，来谈谈Hive metastore的三种安装模式： **Embedded metastore：内嵌模式。**特点是：hive服务和metastore服务运行在同一个进程中，derby服务也运...

Hive与HBase整合 1、在安装好HBase的服务器上安装Hive 2、配置环境变量HBASE_HOME=<hbase-install-dir> 3、进入Hive Cli，创建与HBase相关联的表即可 # 在hive中创建表t_event，会在hbase中同...

Hive-1.2.2安装（本地模式） 必要条件 Java 1.7 (Hive 1.2 及以上版本需要 Java 1.7 或更高版本) Hadoop 2.x (推荐), 1.x (不支持 Hive 2.0.0 以上版本). 配置好环境变量HADOOP_HOME=<hadoop...

Export and Import 步骤: (1)在old cluster上执行： hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/tmp/test (2)在new cluster上执行： hbase o...