文档章节

Storm【实践】系列- 我们实践业务的背景

止静
 止静
发布于 2014/07/11 16:07
字数 508
阅读 266
收藏 0

【实践系列介绍】:

       各位看官,本ID描述的【大数据数据实践】系列,目前暂定为三期工程:

      1 期  : Storm 实时大数据处理

      2期   :impala 数据仓库体系建设

      3期  :Spark离线挖掘系统以及Storm数据推荐系统


       此系列博文将持续更新,对更新的频率本ID暂定:

        1 : 如果属于代码阶段,那本ID将保证每日一篇


        2 :如果属于业务梳理阶段,本ID将每星期做一次背景介绍:

                        首先:业务的梳理需要持续的思考,阶段性的思考未必准确,即便贴上博文,价值也不太大。

                        其次:具体的代码实现,将力争每日一篇,如果未有及时跟新,本ID也将及时回补。


  本章内容:

            

                 到目前为止,我们的数据模型为:PhPStat网站浏览统计系统,网址为:

                  http://www.topstat.cn/login.php?ln=demo&lp=demo123


                  点击页面进入

                

                 

请你点击电分析

我们将查看

我们在目前需要做的大概有三个主要的模型

      其一: 访客分析

      其二:订单分析

      其三:商品分析

                       所谓的访客分析就是我们的浏览日志,在浏览日志之中,同样包括了一些商品信息

                        另外的一部分是属于订单信息,订单信息是对于我们订单业务的一种描述。


         在这里我们举个例子说明:  

         订单数据原始格式:

                

指标:订单金额,订单次数,是否付款,付款金额

     

      简单的浏览原始数据格式

 指标:

 


也就是说我们目前的功能,在报表之中,是一个多属性查询的问题? 对于当个维度下的,多个维度下【一般少于三个维度】会进行维度拆分。

 在Storm之中有没有没有更好的办法来处理全属性查询?

© 著作权归作者所有

止静
粉丝 121
博文 134
码字总数 125762
作品 0
东城
技术主管
私信 提问
windows 安装 storm 及 eclipse 调试 TopN 实例

一:安装JDK 下载地址:地址一 地址二 配置Java环境变量 JAVAHOME、Path、CLASSPATH三个值分别为(按照自己安装状况设置,此处供参考): D:javajdk1.8 %JAVAHOME%/bin;%JAVAHOME%/jre/bin ....

大数据之路
2012/06/08
692
1
Storm【实践系列-如何写一个爬虫-】6 URLInjector

介绍: URLInjector,我封装了的一个简单的客户端,我们将要放URLs,到一个分片队列里面 【sharded queue】,只有放置到分片队列的数据才会被Storm的管线所处理。 package com.digitalpebbl...

止静
2014/08/21
110
0
基于Storm流计算天猫双十一作战室项目实战(Storm Kafka HBase Highchats)

基于Storm流计算天猫双十一作战室项目实战(Storm Kafka HBase Highchats) 网盘地址:https://pan.baidu.com/s/1-59o76H32Jfp0Vp-o8zLYg 提取码: im8f 备用地址(腾讯微云):https://share...

小小搞笑弟
2018/11/16
0
0
Storm中数据的输入输出

转载请注明出处:http://blog.csdn.net/jmppok/article/details/17284817 概述 Storm是一个实时流处理系统,其中运行的是Topology。初学Storm的小伙伴可能会有这样的问题: 我写了Spout和Bol...

jmppok
2015/03/25
83
0
大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条...

江河海流
2014/03/30
5K
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
15
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
16
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部