火山引擎 DataTester 首推A/B实验经验库,帮助企业高效优化实验设计能力

原创
2023/09/07 11:18
阅读数 54

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

 

近日,火山引擎 DataTester 推出了重要功能——A/B实验经验库。

基于在字节跳动已完成150万余次A/B实验的经验,DataTester 首创了A/B实验经验库功能。该功能可帮助业务人员将历史的A/B实验经验沉淀,并通过条件筛选,快速找到所需实验信息并进行数据分析。汲取过往在A/B实验设计和结果方面的经验,并了解优化方向,更好为后续的业务赋能。

以往,当企业需要去查看往期A/B实验信息时,只能通过实验列表去挨个点击查看,这样做对于业务人员来说不仅仅很耗时耗力,而且无法全面了解过往A/B实验所积累的有效信息。

A/B实验经验库功能上线后,企业能够自主筛选、高效调用以往A/B实验的数据及详情,并查阅 DataTester 以经验报告形式做的抽象和总结。该功能让 DataTester 从单纯支持A/B实验的数据工具平台,升级成为了企业业务信息沉淀的系统,可以帮助企业不断迭代优化A/B实验的设计与效果。

在 DataTester 的经验库中,用户可以通过检索多类标签,查看业务历史上A/B实验的目标群体、实验策略、实验结论:

  • 实验信息:支持检索实验名称、实验描述、实验版本名称、创新人等信息;

  • 运行时间:支持对运行时间、开始时间、停止时间进行时间范围筛选;

  • 展示指标:支持输入需要所需查询的任意数据指标,如点击率、转化率、DAU等;

  • 目标受众:支持筛选实验目标人群包,可按公共属性和用户分群等维度进行筛选。

以具体的应用场景举例,假设业务运营有一个目标:期望增加产品在“北上广深”的女性用户群体的使用活跃度。那么业务运营首先要了解在过往,产品针对“北上广深”的女性群体做过哪些运营动作,在A/B测试中,哪些运营动作成效显著,哪些效果不好。

在 DataTester 的经验库中,业务运营人员可以选择目标受众为“女性”标签,再选择城市标签为“北京、上海、广州、深圳”;此时,即可查看以往针对上述人群的有效果的实验有哪些。

如果想进一步拆分针对上述人群中与“使用活跃度”有关的实验,那么可以在指标选取上更加细分和灵活。例如可选取“新增用户数”指标,来查看往期试验中,提升了目标群体日活的实验;与此同时还可选取“订购”指标,查看往期试验中提升了目标群体消费情况的实验。

这样一个满足业务运营所需条件的往期实验就全部筛选出来了。运营人员可以详细的查看和分析往期实验的数据,在此基础上继续设计深化新的A/B实验策略。

DataTester 的A/B实验经验库,让企业的每一次A/B实验都不再是各自独立的个体,而能够层层递进,每一次都在上一次的实验效果基础上进一步调优,可以帮助企业减少“重复造轮子”的情况,大幅提升效率。

DataTester 是字节跳动内部应用多年的A/B实验平台,当前已通过火山引擎面向外部企业开放服务,能基于先进的底层算法,提供科学分流能力和智能的统计引擎,支持多种复杂的A/B实验类型。在应用和分析场景上,火山引擎 DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求,为业务增长、转化、产品迭代,策略优化,运营提效等各个环节提供科学的决策依据,让业务真正做到数据驱动。

目前,火山引擎 DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户,将成熟的“数据驱动增长”经验赋能给各行业。

 

点击跳转火山引擎 DataTester了解更多

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部