文档章节

【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

_夜枫
 _夜枫
发布于 2017/03/29 22:11
字数 957
阅读 9
收藏 0

概述:大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累。

 

任何规模的企业,每时每刻都在产生大量的数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的信息,但前提是如何获取大量有价值的数据。

 

相信很多做过网站管理的人对网站访问日志(Access Log)应该不会陌生,现在主流的网站服务器(如apache,tomcat,ngxin等)都支持将日志数据记录到服务器的日志文件中。

网站的访问日志中记录了很多有用的信息,比如正常用户的访问足迹、恶意捣乱的足迹、用户的入站方式、出站页面等信息。对以上信息汇总分类后,可以得到更有价值的东西,比如可以得到搜索引擎的抓取频率和来访时间段、可以得到哪些页面是用户的热搜等。

 

img_871b16148d6dc54b910bbdb599b79af6.52大数据计算服务(MaxCompute)

快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

了解更多

 

 

下面介绍一个对中小企业客户比较适合的,低成本投入的日志采集存储方案;

 

对于一个比较活跃的网站来说,访问日志将会是一个海量的数据,考虑到网站日志更新频繁、和海量数据的特点,我选择了Flume + MaxCompute的采集和存储方案。

 

525646076a3f010a912641eea9017513241fb9d2

Flume

Flume是一个分布式、高可靠、高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

 

MaxCompute

MaxCompute原名是ODPS,是由阿里云自主研发的一款服务,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,它适用于海量数据的存储、计算,商业智能等领域。

 

flume能够支持多种Source和Sink插件,而我们今天要介绍的就是如何使用Apache flume的 Datahub sink插件将日志数据实时上传到Datahub上然后归档到MaxCompute表中。这样做不需要投入大量人力去对环境进行部署和维护,可以有效降低企业成本,并保障了数据安全,是一个方便高效的运行方案。

 

实验前您需要:

1)拥有Linux系统;

2)拥有一定的开发经验;

3)拥有阿里云官网实名认证账号,并且创建好账号Access Key;

 

本实验您将完成以下任务:

1)安装JDKFlume

2)开通MaxCompute(https://www.aliyun.com/product/odps)和Datahub

3)下载并部署Datahub Sink插件;

4)创建需要上传的本地文件;

5)创建Datahub Topic;

6)配置Flume作业配置文件;

7)启动Flume,将数据上传至Datahub;

8)配置Connector将数据归档至MaxCompute。

 

17分钟视频教程】https://yq.aliyun.com/edu/lesson/play/487

 

实验手册如何实现Flume收集网站日志数据到MaxCompute.pdf

 

常见问题Flume采集网站日志到MaxCompute常见问题汇总

本文转载自:https://yq.aliyun.com/articles/66600

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
02. Spark Streaming实时流处理学习——分布式日志收集框架Flume

2. 分布式日志收集框架Flume 2.1 业务现状分析 如上图,大量的系统和各种服务的日志数据持续生成。用户有了很好的商业创意想要充分利用这些系统日志信息。比如用户行为分析,轨迹跟踪等等。 ...

牦牛sheriff
2018/09/02
0
0
基于Hadoop离线大数据分析平台项目实战

基于Hadoop离线大数据分析平台项目实战 网盘地址:https://pan.baidu.com/s/13vOi8WphetCiRtHhOCUdGg 密码: kt99 备用地址(腾讯微云):https://share.weiyun.com/5wdYJSk 密码:jjmx9p 课程...

羞答答的
2018/07/03
0
0
大数据(hadoop-flume的原理架构)

背景介绍 Hadoop提供了一个中央化的存储系统 有利于进行集中式的数据分析与数据共享 Hadoop对存储格式没有要求: 用户访问日志 产品信息 网页数据等 如何将数据存入Hadoop: 数据分散在各个离...

这很耳东先生
06/13
28
0
Flume---大数据协作框架

flume是什么 Apache Flume是一个分布式的、可靠的、易用的系统,可以有效地将来自很多不同源系统的大量日志数据收集、汇总或者转移到一个数据中心存储。 Apache Flume的作用不仅限于日志汇总...

简心
2018/05/06
115
0
Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

大数据之路
2014/07/08
55.9K
9

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.4K
15
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
41
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
40
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
61
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部