本篇博客博主将简单介绍Hbase的相关知识。 1.1 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。...

上一篇文章介绍了'网站点击流数据分析项目业务背景'；本篇博客博主将继续分享网站分析的相关知识。 一、整体技术流程及架构 1.1.数据处理流程 该项目是一个纯粹的数据分析项目，其整体流程基...

前面一章，介绍了大数据hadoop生态圈中组件Flume、azkaban、sqoop的相关知识，截止目前，大数据离线分析的技术知识基本已经介绍完（当然，各组件还有一些其它的替代方案，需要小伙伴们下来自...

上一章节，介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识；本篇博客，博主将继续为小伙伴们分享sqoop的使用。 一、sqoop数据导入 (1)、导入关系表到HIVE ./sqoop import --connect...

上一篇章节，介绍了azkaban的几个实战案例；本篇博客博主将为小伙伴们分享数据迁移工具sqoop的安装来帮助熟悉其使用。 一、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数...

上一章节，介绍了azkaban的简介、安装相关的知识；本篇博客博主将为小伙伴们分享azkaban的一些案例来帮助熟悉其使用。 Azkaba内置的任务类型支持command、java； 一、command类型单一job示例...

上一节介绍了Flume多个agent连接配合使用。本节博主将为小伙伴们介绍azkaban的相关概念、简单的安装使用。由于azkaban使用新版本太耗时间，需要编译安装，所以博主此次就使用编译好的老版本2...

上一节介绍了Flume如何将数据收集到hdfs文件系统上。本节将分享多个agent连接配合使用。 原理图： 操作步骤： 1、将centos-aaron-h1的flume复制一份到centos-aaron-h2 sudo scp -r /home/had...

上一节介绍了Flume的一个入门案例，本节博主将分享Flume如何将数据收集到hdfs文件系统上。 操作步骤： 1、进入Flume配置目录 cd ~/apps/apache-flume-1.6.0-bin/conf 2、新建配置文件 vi tai...

前面的章节介绍了hive的知识，本节博主将分享日志采集框架Flume的相关知识。在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、...

本节博主分享一个在工作中经常遇到的级联求和出报表的案例。需求如下： （1）有如下访客访问次数统计表 t_access_times 访客 月份 访问次数 A 2015-01 5 A 2015-01 15 B 2015-01 5 A 2015-01...

本篇博客博主将分享Hive函数的基础知识. 1.内置运算符（https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF） 2.内置函数（https://cwiki.apache.org/confluence/display...

在我们浏览的App、网站的时候，经常会看到一些广告，而且感觉这些广告还和我们最近的购物记录或者商品查看记录有关。这些就是广告精准智能推荐系统完成的功能。 以下是广告推荐应用的场景： ...

上一篇博客分享了hive的基础操作知识，本节博主将继续补充分享一些hive的SQL操作知识。 一、保存select查询结果的几种方式： 1、将查询结果保存到一张新的hive表中 create table t_tmp as se...

上一篇博客分享了hive的简介和初体验，本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_t...

上一篇文章分析了Hive1.2.2的安装，本节博主将分享Hive的体验&Hive服务端和客户端的使用方法。 一、Hive与hadoop直接的关系 Hive利用HDFS存储数据，利用MapReduce查询数据。 二、Hive与传统数...

上一篇文章介绍了hive2.3.4的搭建，然而这个版本已经不能稳定的支持mapreduce程序。本篇博主将分享hive1.2.2工具搭建全过程。先说明：本节就直接在上一节的hadoop环境中搭建了！ 一、下载apa...

上一篇文章介绍了hive的原理以及实现机。本篇博客开始，博主将分享数据仓库hive工具搭建全过程。 一、安装Hive (1)、下载Hive和环境准备： Hive官网地址：http://hive.apache.org/index.html...

上一篇文章介绍了hadoop联邦集群的搭建过程。至此，hadoop的整个知识系统就差不多结束了。本篇博客开始，博主将分享数据仓库hive工具的原理以及使用。 一、Hive基本概念 (1)什么是Hive Hive...

上一篇文章介绍了haoop集群HA高可用的搭建，相信大家已经掌握了其知识；本篇博客博主将继续为小伙伴分享HA联邦高可用的搭建，虽然，联邦机制在很多公司可能还达不到这样的数据集群规模以至于...