文档章节

A/B测试终极指南

那些数据驱动的优化
 那些数据驱动的优化
发布于 2016/12/05 17:13
字数 2104
阅读 2
收藏 0
点赞 0
评论 0

什么是A/B测试?

A/B测试的核心就在于:对比验证,择优使用。在网页设计里,通常我们有两个版本 A 和 B , A 是现有设计(我们将其称为控制组),而B则是一个新的设计。让访问者随机访问不同的版本,你可以看看这二个版本在你感兴趣的指标上的表现情况(这些指标一般有转换率、销售额、跳出率等等)。最后,根据这些指标选出那个表现比较好的版本。

要测试什么?

根据你的目的来选择能测试的待提升对象。若目标是增加注册量,那么可以测试注册表单的长度、表单字段的类型、隐私条款的呈现方式、注册表单的CTA按钮文字颜色文本等。这种情况下的A/B测试就是为了弄清楚究竟是什么妨碍了用户的注册。是表单长得吓人么?是对隐私的担忧么?还是网页不足以让说服人去注册?通过对相应的网页元素进行一个一个的测试,我们可以得到所有这些问题的答案。

尽管每一个A/B测试都是独一无二的,但还是有一些需要A/B测试的基本元素,比如:

  • 按钮的措辞、大小、颜色以及出现的位置

  • 标题或产品描述

  • 表单长度及类型

  • 网站的布局及风格

  • 产品价格及促销活动

  • 登陆界面及产品页数

  • 页面中的文字长短

  • 创建第一个A/B测试

一旦决定了要做A/B测试,以及测试什么,那么接下来要做的就是选择适合你的工具。纯代码模式的,国外的有 Google Website Optimizer ,程序员应该会很喜欢。简单点,测试的方式简单点,那就 AppAdhoc A/B Testing 吧,中文界面很友好,支持编程和可视化模式,无论你是写得了代码的程序员、增长黑客,还是不懂代码的市场、营销、运营、产品都能轻松上手。

 不论使用哪种方法,设定核心测试都是差不多的。因此,即使对其他方法不是很清楚,我们依旧可以对此进行讨论。

 你可以通过以下任意一种方法来创建A/B测试:

在网页加载前替换需要测试的要素。

如果你测试的是网页中的某个要素,如注册按钮,那么你就需要在测试工具中创建多个替换按钮。A/B工具就会在加载这个页面的时候随机选择一个替换按钮来取代原有按钮,并呈现给来访者。

网页重定向。

如果你想对整个网页进行A/B测试,如绿色的主题 or 红色的主题,那么你需要在网站中创建并上传一个新的网页。比如说,你的主页是 http://www.example.com/index.html,那么你需要创建一个替换网页 http://www.example.com/index1.html 。试验开始后,工具会将一部分的访问者直接导到你的替换网页。

当你选择了以上任意一种方法建立了自己的替换物之后,接下来就该设定你的转换目标了。通常情况下,你可以找到一小段 JavaScript ,将这段脚本码复制粘贴到一个网页中,一旦访问者到达这个页面就表示测试成功了。比如说,你想要测试电子商务网站上“ Buy Now ”键的颜色,那么你的转换目标就可能是访问者完成交易之后呈现“谢谢你”这样的页面。

一旦网站中出现一个转换事件,A/B测试的工具就会记录下访问者所看到的替换物。当访问者数量和转换次数达到一定程度的时候,你就可以看看哪种替换物产生了最多的转换次数。就是这样,创建和进行一个A/B测试就是这么简单。

一些注意事项

从概念上来说A/B测试听上去超级简单,但是我们还是要牢记一些实用的东西。根据我多次的A/B测试经验,我想要给你们提以下建议:

不要做什么

1、在进行A/B测试的时候,不要等到控制组测试完之后才去测试替换物。一定要同时测试二个版本。第一个礼拜测试一个版本,第二个礼拜才去测试第二个版本,这样的做法是错误的。有可能版本B实际上并不好,但是恰巧测试这个版本的时候销售状况比较好,比如B版本测试的时候是销售旺季,这就会出现错误。因此,一定要将流量平均分配到二个版本上去。二个版本同时进行测试,可以避免一些额外的因素造成的影响,考虑流量分配的科学性。

2、不要过早下结论。统计学中有一个重要的概念叫做统计置信度(statistical confidence),它决定着你的测试结果是否显著。在每个替换版本的转换次数或是访问者数量不够多的情况下,它就会建议你不要从这样的结果中获得结论,绝大多数的A/B测试工具都会报告统计置信度,但是如果你是手动的进行测试,那么可以考虑使用一个在线的计算工具来计算该值 online calculator 。统计显著的测试结果才能引导决策。

3、不要让经常来的访问者感到诧异。若你对自己网站的某个核心部分进行测试,而访问者中只涉及一小部分的新访者,那你就得避免常访者进入网站时感到吃惊,毕竟这些替换版本最终不一定会在网站中使用。

4、不要让直觉压倒测试结果。A/B测试中的胜出者常常让我们有出乎意料之外的感觉。在一个绿色基调的网站中,一个朴实的红色按钮可能就成为了优胜者。即使这个红色按钮并不咋地,但是不要立刻否定它。你的目标是更好的转换率,而不是哪个更有美感,因此不要武断的拒绝结果。

要做什么

1、自己要清楚测试持续的时间。若想到得到有意义的结果就不能结束得太早,但若是结束太晚,那些表现不佳的版本会造成转换率和销售上过多损失。

2、确保同一个访问者重复访问时看到的总是同一个版本。你的工具得记住某个访问者看到的版本,下次访问时需要呈现同样的版本。只有这样才能避免出错,让同一个使用者看到了不同的价格或是不同的促销活动,这就会让用户质疑你的品牌可信度。

3、A/B测试必须保持一致性。若你想测试的注册按钮会在网站多个地方出现,那么访问者不论在那里看到的都应该是同一个版本。不要在第1页放了一个版本的按钮,而在第二页放了另一个版本的按钮,这会混淆试验。(首页看到的注册按钮和其他页看到的注册按钮是一样的,如都是红色按钮)

4、多做一些A/B测试。我们必须面对的事实是:你的第一次A/B测试可能很糟。但是不要因此而绝望。任何一个A/B测试都只有三种结果:没结果、好结果、坏结果。只有进行了多次A/B测试才有可能得到一个最佳的转换率,把所有好的部分结合起来就能大大推动销售,实现目标了。

本文翻译自:http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/

授权转载自吆喝科技博客

本文转载自:

共有 人打赏支持
那些数据驱动的优化
粉丝 0
博文 5
码字总数 4672
作品 0
程序员

暂无相关文章

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 今天 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

一起读书《深入浅出nodejs》-node模块机制

node 模块机制 前言 说到node,就不免得提到JavaScript。JavaScript自诞生以来,经历了工具类库、组件库、前端框架、前端应用的变迁。通过无数开发人员的努力,JavaScript不断被类聚和抽象,...

小草先森 ⋅ 昨天 ⋅ 0

Java桌球小游戏

其实算不上一个游戏,就是两张图片,不停的重画,改变ball图片的位置。一个左右直线碰撞的,一个有角度碰撞的。 左右直线碰撞 package com.bjsxt.test;import javax.swing.*;import j...

森林之下 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部