加载中
什么是大数据(个人理解)

1、什么是大数据? 基本概念 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任...

2019/01/03 09:42
13
Flume(4)-监控模型

一. 监控端口数据 首先启动Flume任务,监控本机44444端口,服务端; 然后通过netcat工具向本机44444端口发送消息,客户端; 最后Flume将监听的数据实时显示在控制台。 1. 安装netcat sudo y...

2019/01/03 19:35
15
Flume(1)-概述与组成架构

一. 定义 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 二. 优点 1. 可以和任意集中式存储进程集成。 2. 输入的的...

浅析Secondary NameNode与namenode

前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章...

2019/01/03 12:31
59
【Hadoop学习之三】Hadoop全分布式安装

环境   虚拟机:VMware 10   Linux版本:CentOS-6.5-x86_64   客户端:Xshell4   FTP:Xftp4   jdk8   hadoop3.1.1 全分布式就是集群,注意配置主机名。 一、平台和软件 1、安装...

2019/01/02 15:46
25
Flume(2)-拓扑结构与Agent内部原理

一. 拓扑结构 1. 串行模式 这种模式是将多个flume给顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部