文档章节

理论到实践,A/B测试不得不直面的4个统计学问题

那些数据驱动的优化
 那些数据驱动的优化
发布于 2016/12/06 10:42
字数 794
阅读 20
收藏 0
点赞 0
评论 0

有放回?无放回?

从总体中随机抽取一个容量为n的样本,当样本容量 n足够大(通常要求n ≥30)时,无论总体是否符合正态分布,样本均值都会趋于正态分布。期望和总体相同,方差为总体的1/n。这即是中心极限定理,是A/B测试数据分析的基础。

 

然而抽样分为有放回和无放回两种。样本均值的方差是总体方差的1/n(n为样本容量),这个结论是针对有放回抽样的。实际试验中,大部分是无放回的,这样流程比较简单。无放回抽样,样本均值方差见下。观察公式可知道,当总体容量比样本容量大很多倍时,样本均值的方差可以近似为总体方差的1/n。

ab测试

配对样本?独立样本?

当两个样本的获取存在关联时,称为配对样本。例如比较人早晚身高变化,如果早上身高的样本包含了张三,则晚上身高的样本也要包含张三。

某些情况下配对样本比较难实现,比如药物双盲试验,患者不能既服用安慰剂又服用药物。这时只能使用独立样本,随机分配个体进入两个样本,认为2个样本的个体统计上不存在差别。同时患者不知道自己服用的是安慰剂还是药物,消除心理作用的影响。

互联网产品的A/B测试和新药试验类似,理论上说应该让同一组用户同时看到多个版本进行比较,或者是看完一个版本后用时间机器倒回去再看另一个版本。显然无法做到,只能选取试验用户时足够的随机,让两组用户从统计意义上相同,认为偏差都是产品版本造成的。

样本方差?总体方差?

A/B测试计算置信区间的公式:
ab测试技巧

置信区间计算公式中的方差项,理论上应该使用总体方差。而总体方差没法知道,只能用样本方差来代替了。好在样本方差是总体方差的无偏估计。样本方差和总体方差的比值,符合χ2分布。

ab测试原理
时变?时不变?

A/B测试需要假设产品用户的访问习惯不会随着时间的推移而发生变化。很遗憾在某些情况下并不是这样。某些产品存在很明显的季节因素,例如旅游。一般的A/B测试周期会包含休息日和工作日,但很难包含多个季节,在外推测试结论时要十分谨慎。另外强烈的外部事件会对用户产生刺激,要避免在这种情况下进行A/B测试,尽量在平稳时期进行。

 

本文作者:吆喝科技高级客户成功专家 韩刚

© 著作权归作者所有

共有 人打赏支持
那些数据驱动的优化
粉丝 0
博文 5
码字总数 4672
作品 0
程序员
程序员们,AI来了,机会来了,危机也来了

本文转自http://blog.csdn.net/myhaspl/article/details/74928747?ref=myread 程序员们,AI来了,机会来了,危机也来了 1.人工智能真的来了 纵观古今,很少有计算机技术能有较长的发展寿命,...

weixin_32265569 ⋅ 2017/07/16 ⋅ 0

数据分析学习

行行出状元,只要你想要,努力一定能实现,最好的实践方式跟着公司的业务走,学习也是最快的,因为有需求,有压力及动力去完成一件事,通过2周的学习, 也能作为一个入门业务分析师,展示一个...

DBAspace ⋅ 2017/12/08 ⋅ 0

大数据时代的10个重大变革

来源:数据科学DataScience 本文长度为2223字,建议阅读4分钟 为你总结大数据时代人们生活方式、思维模式和研究范式等方面的变化。 大数据时代的到来正在改变人们的生活方式、思维模式和研究...

enohtzvqijxo00atz3y8 ⋅ 2017/12/04 ⋅ 0

软件测试经验谈

软件测试应该掌握那些知识,你掌握了吗?今天小编为大家带来学习软件测试基础的经验,希望对想要学习测试的童靴有帮助。 学习软件测试要掌握软件测试的基本概念和基本理论、基本测试流程、技...

让往事随风 ⋅ 2016/04/07 ⋅ 0

机器学习书籍推荐

机器学习(Machine Learning, ML)无疑是目前计算机领域最热门的方向了。机器学习专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身...

luanpeng825485697 ⋅ 2017/12/07 ⋅ 0

如何区分三个大数据热门职业——数据科学家、数据工程师、数据分析师

 随着大数据的愈演愈热,相关大数据的职业也成为热门,给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么...

加米谷 ⋅ 2017/11/14 ⋅ 0

强力推荐,非常全的 Python 学习资料(今日免费)

各位想高效学习和掌握Python的朋友,请看过来。好了在给大家分享之前呢,我介绍一下我弄的一个学习交流群,有什么不懂的问题,都可以在群里踊跃发言,需要啥资料随时在群文件里面获取自己想要...

python达人 ⋅ 2017/11/17 ⋅ 0

送你一份深度学习资源&教程!

来源:机器学习算法与自然语言处理 本文长度为1146字,建议阅读3分钟 为你分享一份中文机器学习和深度学习基础教程。 教材,教程,中文的,直对问题回答一波: 注意:我认为教程不在多,在于...

enohtzvqijxo00atz3y8 ⋅ 2017/12/01 ⋅ 0

如何「科学的比较」机器学习模型表现?

最近在赶paper,码字的时间不多,也刚好借着这个机会践行“写少、少写,写好”。今天谈谈如何对比多个机器学习算法的性能,阅读本文需要基本的统计检验知识,比如明白假设检验中 P<0.05通常说...

阿萨姆 ⋅ 2017/11/20 ⋅ 0

互联网行业人才缺口‘统计学’人才的毕业环境

统计学和数学一样是一个服务类学科,并没有所谓的“对口就业”。 只要出现数据的行业,都需要统计学,因为本来这个行业里面的人他们的专业范围是得到(产生)数据,比如说银行、保险、零售、...

ApplySquare ⋅ 04/04 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

编译安装apache2.4.33

1. 环境 编译安装apache2.4.33,错误 error: ld returned 1 exit status。 CentOS 7.2apr-1.6.3apr-util-1.6.1httpd-2.4.33 2. 编译报错 编译安装完 apr apr-util 之后,安装httpd-2.4.3......

周云台 ⋅ 9分钟前 ⋅ 0

jsonrpc-4j代码解析

解析文件 AutoJsonRpcServiceImplExporter JsonServiceExporter AutoJsonRpcServiceImplExporter 路径:com.googlecode.jsonrpc4j.spring.AutoJsonRpcServiceImplExporter AutoJsonRpcServi......

郭恩洲_OSC博客 ⋅ 18分钟前 ⋅ 0

百度搜索

from selenium import webdriver import time brower=webdriver.Firefox() brower.get('http://www.baidu.com') input=brower.find_element_by_id('kw') input.send_keys('中南大学') time.s......

南桥北木 ⋅ 25分钟前 ⋅ 0

tomcat 日志记录器

1、日志记录器是记录消息的组件 日志记录器需要与某个servlet 容器相关联 2、Logger 接口 共定义了5种日志级别:FATAL、ERROR、WARNING、INFORMATION、DEBUGGER setVerbosity 设置级别 setC...

职业搬砖20年 ⋅ 26分钟前 ⋅ 0

Thrift RPC实战(三) Thrift序列化机制

1.Thrift基础架构 Thrift是一个客户端和服务端的架构体系,数据通过socket传输; 具有自己内部定义的传输协议规范(TProtocol)和传输数据标准(TTransports); 通过IDL脚本对传输数据的数据结构...

lemonLove ⋅ 26分钟前 ⋅ 0

网站建设就要像2018世界杯的俄罗斯队大杀四方[图]

今天心情不错,因为昨天晚上观看了世界杯比赛,尤其是对俄罗斯队的大杀四方感到十分霸气侧漏啊,因此我联想到了自己的博客网站,我的博客是去年年底上线的,一直想建设一个关于读书和读后感作...

原创小博客 ⋅ 35分钟前 ⋅ 0

Greenplum 三节点安装教程(非root用户)

Greenplum 三节点安装教程(非root用户) 环境准备 安装vmware,装三台centos 虚拟机设置: 主机名 IP 内存 硬盘 node1 Xxx1 2G 80G node2 Xxx2 2G 80G node3 Xxx3 2G 80G CSDN下载greenplum...

仔仔1993 ⋅ 36分钟前 ⋅ 0

linux 信号机制

signal(SIGPIPE, SIG_IGN); TCP是全双工的信道, 可以看作两条单工信道, TCP连接两端的两个端点各负责一条. 当对端调用close时, 虽然本意是关闭整个两条信道, 但本端只是收到FIN包. 按照TCP协...

xxdd ⋅ 37分钟前 ⋅ 0

SpringWind

环境搭建和系统部署

颖伙虫 ⋅ 55分钟前 ⋅ 0

vim命令用法

第五章 vim命令 vim和vi几乎是一样的,唯一的区别就是当编辑一个文本时,使用vi不会显示颜色,而使用vim会显示颜色。 vim有三个模式:一般模式,编辑模式,命令模式。 系统最小化安装时没有安...

弓正 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部