上一章节，介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识；本篇博客，博主将继续为小伙伴们分享sqoop的使用。 一、sqoop数据导入 (1)、导入关系表到HIVE ./sqoop import --connect...

上一篇博客分享了hive的简介和初体验，本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_t...

上一章节博主为大家介绍了目前大型互联网项目的keepalived+nginx（主备）高可用系统架构体系，相信大家应该看了博主的文章对keepalived/nginx技术已经有一定的了解，在本节博主将为大家分享k...

上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs....

今天博主主要分享Linux系统中的一种软件安装方式YUM，主要针对人群包括运维、开发、项目经理等等。当然，如果你对这块知识已经非常熟悉，那请移步博主其它文章。 一、YUM相关概念 Yum（全称为...

上一篇博客博主分享了hadoop内置rpc的使用案例，本节博主将为小伙伴们分享一个在实际生产中使用的日志搜集案例。前面的文章我们有讲到过用户点击流日志分析的流程，本节就是要完成这个分析流...

上一章节博主介绍了zookeeper的命令行客户端的基本使用、数据结构以及监听等等功能，本节博主将继续为大家分享zookeeper的启动、关闭、重启。在我们现在的大型项目里面，除了zookeeper外，还...

上一篇文章博主为大家讲述了hadoop的命令行操作，以及第一个mapreduce程序的运行案例。本篇将博主将继续解释在windows10系统上搭建hadoop以及使用JavaAPI操作HDFS文件系统。 一、win10上搭建...

博主前面文章有介绍过软件的安装，可以帮助IT人员顺利的完成功能软件安装；但是，对于我们运维人员或者需要管理软件安装的项目经理来说，有些应用一次行需要搭建很多台相同的软件环境（如tom...

上一章节博主为大家介绍了目前大型互联网项目的系统架构体系，相信大家应该注意到其中很重要的一块知识nginx技术，在本节博主将为大家分享nginx的相关技术以及配置过程。 一、nginx相关概念 ...

一、zookeeper角色概念 zookeeper集群中有三种角色（zookeeper服务器节点），它们分别是：群首（leader），追随者（follower），观察者（observer）。由于观察者这种节点我们工作中基本不会接...

上一篇文章，博主介绍了zookeeper集群的搭建全过程；今天博主将为大家分享的是zookeeper的命令行客户端使用、zookeeper的数据结构和监听功能。 zookeeper启动与关闭服务的命令： ./bin/zkSe...

博主今天分享在centos6.9的minimal版本上安装mysql5.6.40的全过程，此过程相当繁琐，请大家耐心一步步安装。 安装步骤： （1）下载mysql版本mysql-5.6.40-linux-glibc2.12-x86_64.tar.gz，地...

之前的文章已经简单介绍过mapreduce的运作流程，不过其内部的shuffle过程并未深入讲解；本篇博客将分享shuffle的全过程。 一、mapreduce运作流程长卷图（其中[深]朱红色代表是可以用户自定义...

上一章节，介绍了azkaban的简介、安装相关的知识；本篇博客博主将为小伙伴们分享azkaban的一些案例来帮助熟悉其使用。 Azkaba内置的任务类型支持command、java； 一、command类型单一job示例...

在我们玩虚拟机的时候，常常需要很多台服务器一起配置集群，一台一台去安装centos系统就太费时间。这里我们有一简单的方式实现虚拟机的批量复制功能---克隆，该功能是VMware提供给我们用于复...

今天分享win10系统如何安装VMware虚拟机系统，带大家全过程观看安装现场。首先，需要介绍下VMware这个虚拟机软件系统。 VMware虚拟机软件是一个“虚拟PC”软件，它使你可以在一台机器上同时运...

之前章节介绍了zookeeper集群的自动化启动脚本，本节博主将带大家简单的使用zookeeper的java客户端API，从而了解其使用。 zookeeper监听器原理： zookeeper使用步骤： （1）新建maven项目em-...

上一篇章节，介绍了azkaban的几个实战案例；本篇博客博主将为小伙伴们分享数据迁移工具sqoop的安装来帮助熟悉其使用。 一、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数...

在上一篇博客，博主为大家讲述了centos6.9上编译hadoop2.9.1全过程，这一章节博主将带着大家一起来安装hadoop。 本篇博客中可能用到的额外的命令： #关闭selinux sudo vi /etc/sysconfig/se...