文档章节

如何高效率采集并分析数据

mickelfeng
 mickelfeng
发布于 2017/04/25 14:08
字数 1182
阅读 14
收藏 0

一、数据采集的三大要点

图片1

1、全面性

数据量足够具有分析价值、数据面足够支撑分析需求。

比如对于“查看商品详情”这一行为,需要采集用户触发时的环境信息、会话、以及背后的用户id,最后需要统计这一行为在某一时段触发的人数、次数、人均次数、活跃比等。

2、多维性

数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同类型,从而满足不同的分析目标。

比如“查看商品详情”这一行为,通过埋点,我们才能知道用户查看的商品是什么、价格、类型、商品id等多个属性。从而知道用户看过哪些商品、什么类型的商品被查看的多、某一个商品被查看了多少次。而不仅仅是知道用户进入了商品详情页。

3、高效性

高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。

基于以上三点,我们看如何让数据采集更准确、分析更有用以及团队内部更高效。

二、数据分析价值性和高效性

图片2

1、明确数据驱动目标

数据采集切忌大而全,数据分析需求也是随着产品不断迭代的,明确长远和当前阶段的分析需求,让分析更有目的性,技术执行更高效。

2、按需采集数据

带着需求和分析目标去采数据,不仅避免了数据冗余带来的无从下手,也避免了全量采集之后却不知道要分析什么的尴尬。

图示为埋点范例:

图片表格

图示文档可由数据分析需求人员整理,表格梳理让需求人员和技术人员协同更高效,也大大提升了后续的分析价值和效率。

3、多维交叉定位问题

对数据的应用可分为一般分析和探索性分析。一般分析包括对日常数据如新增、活跃、留存、核心漏斗的监测分析,也包括对各部门日常业务的数据监测。监测每日增长,分析异常情况,比如对注册失败、支付失败事件的监控和及时优化。

探索性分析是对数据的高级应用。对核心事件的相关性分析、挖掘产品改进关键点等,如促进用户购买的相关性分析、找到促进留存的Ahamoment等。

4、优化产品、优化运营策略

基于数据反映的问题,做到实时监控和及时解决,基于分析得到的增长启发,去做A/B测试、灰度测试、去MVP实践。

5、衡量

衡量是数据分析到实践的最后一步,当然,也可能是第一步。有时候我们看似找到了增长点,但实验发现,事实并不如预期,不要灰心,不要丧气,更不要不吃饭,分析过程中对用户的理解、对业务的深度挖掘可能会让下一次优化产生累计价值。

三、数据分析思维

图片3

数据采集固然重要,数据分析的方法论也很重要,但不要迷信数据,因为更重要的,可能是人的创造力和想象力!数据分析也从来不是一劳永逸的,产品在不断迭代,业务在不断更新,从认知到决策,数据更多的是起到了辅助的作用,从梳理需求、到采集、到分析、到实践、再到衡量,它是始终循环在企业增长的整个过程中的。

最后,那些改变世界的程序猿,他们始终希望能用自己的技术创造更多的价值,很多时候,他们要的可能是明确的数据需求、明确的分析目标,以及一套高效协同的方法,毕竟,谁都认为:能准确解决问题、能驱动业务增长更重要!

推荐阅读

本文转载自:https://my.oschina.net/u/3006003/blog/856193

mickelfeng

mickelfeng

粉丝 237
博文 2785
码字总数 604219
作品 0
成都
高级程序员
私信 提问
详解如何pyhton批量采集拉勾网java招聘信息数据

大数据(Big Data)是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理...

技术阿飞
2018/12/07
15
0
云上的Growth hacking之路,打造产品的增长引擎

增长关乎产品的存亡 增长!增长!增长!业务增长是每一个创业者每天面临的最大问题。无论你的产品是APP,还是web,或者是小程序,只能不断的维持用户的增长,才能向资本市场讲出一个好故事,...

云雷
06/24
0
0
Scrapy学习实例(二)采集无限滚动页面

上一篇写的是采集虎嗅网首页的新闻数据,有朋友对我说,采集多页试试看。后来研究下,虎嗅网首页是POST加载,中携带参数,所以只需要带上一个循环就好了。这是我最初的想法,先让我们看看Scr...

崔斯特
2017/12/03
0
0
OS X 样本收集和分析工具--OSXCollector

OSXCollector 是 OS X 系统样本采集和分析工具。 Forensic 采集 采集脚本运行在相关的机器上,输出一个 JSON 文件,描述任务机器的相关情况。OSXCollector 会从 plists,SQLite 数据和本地文...

叶秀兰
2015/01/28
411
0
大数据经典学习路线(及供参考)之 二

2.1 数据仓库增强 2.1.1 数据仓库及数据模型入门 什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓库的体系结构 2.1.2 数据仓库设计 建立数据仓库的步骤、数据的抽取、数据的转换、...

柯西带你学编程
2018/05/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
10
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
1K
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部