文档章节

如何培养数据分析的能力?

mickelfeng
 mickelfeng
发布于 2017/04/25 14:00
字数 872
阅读 2
收藏 0

第一步:数据准备:(70%时间)

  • 获取数据(爬虫,数据仓库)
  • 验证数据
  • 数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
  • 使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
  • 抽样(大数据时。关键是随机)
  • 存储和归档

第二步:数据观察(发现规律和隐藏的关联)

  • 单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
  • 两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
  • 多个变量:假色图、马赛克图、平行左边图

第三步:数据建模

  • 推算和估算(均衡可行性和成本消耗)
  • 缩放参数模型(缩放维度优化问题)
  • 建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)

第四步:数据挖掘

  • 选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
  • 大数据考虑用Map/Reduce
  • 得出结论,绘制最后图表

循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。

结合实际业务来做数据分析

“无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹,就像金矿等待发掘。但是首先你得明确自己的业务需求,数据才可能为你所用。

1. 数据为王,业务是核心

  • 了解整个产业链的结构
  • 制定好业务的发展规划
  • 衡量的核心指标有哪些

有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。

2. 思考指标现状,发现多维规律

  • 熟悉产品框架,全面定义每个指标的运营现状
  • 对比同行业指标,挖掘隐藏的提升空间
  • 拆解关键指标,合理设置运营方法来观察效果
  • 争对核心用户,单独进行产品用研与需求挖掘

发现规律不一定需要很高深的编程方法,或者复杂的统计公式,更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉,因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示,需要使用直觉与观察(数据可视化技术来呈现)。

3. 规律验证,经验总结

发现了规律之后不能立刻上线,需要在测试机上对模型进行验证。

本文转载自:https://my.oschina.net/siiiso/blog/791759

mickelfeng

mickelfeng

粉丝 237
博文 2785
码字总数 604219
作品 0
成都
高级程序员
私信 提问
数据分析师-从零入门到精通

或许你是在校生,想毕业后从事数据分析工作但找不着门路;或许你现在在从事传统行业工作,想转行做数据分析工作但不知如何入门;或许你在当前工作中,需要用到数据分析技能与方法,但不知道如...

王礼Leon
2017/08/03
0
0
你离15K月薪只差解决这一个问题

想了解自己数据分析能力到了哪一层,戳{数据分析6个能力等级} 想和大牛学更多思维方式,戳{和管理咨询顾问学思考} 这个问题叫:为什么? 每个月薪5、6、7K的同学都想争取到一份10、12、15K的...

天善智能
2018/05/11
0
0
建设全功能团队——实践篇

来源:http://www.ackarlix.com/2010/12/08/488 在上篇文章中我们一起回顾了分工历史,对于技术团队影响以及建设全功能团队的必要性 ,在实践篇中我将详细分享一些实践以及我们团队的经验数据...

Ackarlix
2010/12/08
304
3
功能测试转需求分析讨论

功能测试转需求分析讨论 昨晚部门一哥们请吃饭,也宴请了部门几个兄弟姐妹一起吃饭,吃饭闲聊过程中,他们问到后面的职业规划问题,说想转需求分析,但是不清楚怎么做,我的观点是功能测试人...

泊涯
2017/07/02
0
0
马蜂窝与滴滴联合发起:“旅游+交通”优化旅客出行方案

【TechWeb报道】5月10日消息,近日,全球旅游消费指南马蜂窝旅游网与滴滴快车联合发起了“省时间,去旅行”活动,结合马蜂窝旅游大数据与滴滴快车出行大数据,通过手绘城市地图形式,将活动城...

kmd8d5r
2018/05/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
昨天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
昨天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部