文档章节

基于Quick BI的用户分布分析

_夜枫
 _夜枫
发布于 2017/03/30 22:04
字数 618
阅读 15
收藏 0

Quick BI的气泡地图功能能非常直观得体现全国各区域的数据情况。这里从网上搜了一份某社交网站的用户数据,数据量就五六万条,而且只包含这些用户的公开信息(省的自己还要去爬)。

数据预处理

数据包含的字段为uid、location、gender、followersnum、friendsnum,分别是用户id、所在区域、性别、关注人数、好友人数。里面的location这个字段是中文的,看到为“浙江”这样的就写了省的,也有是“浙江 杭州”这样到省、市的,而且中间用空格分割。另外还有一些写的是“海外”或“其他”。

先用个SQL对数据进行处理,整理出一个所在省的字段

create table wbuser2 AS
select b.*
  from(
select a.uid, a.`location`, a.`gender`, a.`followersnum`, a.`friendsnum`, a.`location` as province_name
  from `wbuser` a
 where instr(a.location, ' ')= 0
 union all
select a.uid, a.`location`, a.`gender`, a.`followersnum`, a.`friendsnum`, substr(a.location, 1, instr(a.location, ' ')) as province_name
  from `wbuser` a
 where instr(a.location, ' ')> 0) b

工作表

数据处理好了后,我们配置数据源,并根据这张表创建一张工作表,刚生成的工作表如图:
a101

然后我们需要对数据进行一些设置:

  • 设置地理位置维度
    a102

  • 修改计量的统计方式。我们不需要计算整个省的所有用户的总的好友数,也是想要平均值。关注也一样
    a103

  • uid我们使用count(uid)来获得每个地区的用户量分布。转化后因为uid是字符串类型,所以默认是count
    a103_2

  • 对于省是“其他”和“海外”的,我们不统计
    a104
    a104_2

  • 最后查询数据并保存。a104_3

仪表盘

最后我们创建一个仪表盘,格式为气泡地图,数据来自工作表
a105

本来所有的工作都已经完成了,但是看一下followersnum,发现台湾的数据怎么特别大,导致其他地区全是蓝点了。
a107

于是我们查一下数据,看看是怎么样的

select a.`province_name`,
       avg(a.`followersnum`) as followersnum
  from `wbuser2` a
 group by a.`province_name`
 order by followersnum desc;

看到台湾的数据特别大,除了台湾外,香港和北京也比较大。
a108
所以我们修改了图标的值域
a109
最后结果如下
a110

通过数据可视化,我们能更容易地发现数据中的一些异常和规律(比如台湾的followersnum特别大)至此大功告成!

本文转载自:https://yq.aliyun.com/articles/67082

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
搞懂QuickBI的OLAP引擎技术原理,人人都是数据分析师

阿里巴巴技术专家梓澈从多方面带您搞懂QuickBI的OLAP引擎技术原理,首先介绍了BI的国内外现状,然后对QuickBI的定位、使用流程以及客户案例进行详细分析。又对OLAP引擎进行了详细的讲解,最后...

阿里云云栖社区
2018/06/22
0
0
当移动数据分析需求遇到Quick BI

我叫洞幺,是一名大型婚恋网站“我在这等你”的资深老员工,虽然在公司五六年,还在一线搬砖。“我在这等你”成立15年,目前积累注册用户高达2亿多,在我们网站成功牵手的用户达2千多万。目前...

迷你芊宝宝
03/06
4
0
基于OSS+DataLakeAnalytics+QuickBI的Serverless的查询分析和可视化BI

基于OSS的数据查询分析和可视化BI报表 数据存储在OSS后,有多种查询分析的方法,包括阿里云MaxCompute、DataLakeAnalytics产品等Severless查询分析服务,也可以自建Spark、Presto、Imapla应用...

阿里云云栖社区
04/08
0
0
发光的二次元——克拉克拉上云实践

克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila 推出互动语音直播、短视频配音、对话小说等功能,满足当下年轻用户个性化、碎片化的文娱需求。随着业...

zhaowei121
01/16
5
0
基于OSS的数据交互式查询分析和BI报表

基于OSS的数据查询分析和BI报表 数据存储在OSS后,有多种查询分析的方法,包括阿里云MaxCompute、DataLakeAnalytics产品等Severless查询分析服务,也可以自建Spark、Presto、Imapla应用来分析...

whj.
2018/09/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Cloud 笔记之Spring cloud config client

观察者模式它的数据的变化是被动的。 观察者模式在java中的实现: package com.hxq.springcloud.springcloudconfigclient;import org.springframework.context.ApplicationListener;i...

xiaoxiao_go
今天
4
0
CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
今天
4
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
7
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部