上个系列给大家分享了基于白盒测试的质量保障体系,相信大家对如何高效保障产品质量都有了一些想法。
不过质量没问题了,只是代表着这个产品能用,随着时代的发展各种产品越来越多,用户的选择也越多,只是能用已经很难吸引用户了,我们需要打造优秀的品质,让用户觉得好用。
所以我们也将开启第二个系列,讲讲如何进行评测,尽早发现品质问题并为优化方向提供建议。
前言部分已经讲了品质的重要性,那么评测的意义具体何在呢?
这里可以从问题发现的方式来说,有以下三种:
1. 用户反馈:这个方案的好处是简单直接,但缺点也明显就是时间太晚。据我们统计,出了问题用户反馈的概率大概是万分之一,等到有用户反馈时才发现问题,对产品的口碑影响较大,一些严重问题甚至会关系到生死存亡。当然也不是用户反馈的监控不重要,这是最后一道关卡一定要做好,但只有这个是不够的。
2. 线上监控:这个方案相对用户反馈能敏感许多,在产品发布初期就能发现问题。但还是会有用户感知,一些严重或者不好修复的问题仍然会影响到用户口碑。同样这块也是必不可少,只不过对于一些核心问题我们还需要发现的更早。
3. 线下评测:评测能够在上线前就发现问题,理论上是最佳的选择。不过评测往往需要跑大量数据进行分析,难度很大成本较高,建议重点关注核心部分。
综上,评测的意义就是在上线之前发现产品核心品质的问题。
什么是评测这里就不再讲了,大家可以自己去搜搜资料。这里重点想强调下一个好的评测系统应该具有哪些因素:
1. 准确:这是最核心的,评测出来的趋势要和线上一致,否则就不能发现问题没有意义了。
2. 高效:这里不是一味地强调效率,但往往想要得到一个准确的评测结果都需要跑大量的数据,如果不能在上线前跑完也就没有意义了,这里会对我们的系统有一定的效率要求。
3. 直观:结果必须直观,我们评测可能会跑各种场景,得到很多指标数据,这些数据变化趋势往往不尽相同。如果不能把大量的指标数据合并成几个大的宏观维度的直观结果,对于核心指标的变化趋势也就无从预测了。
前面讲了什么是好的品质评测系统,那要怎么搭建呢?参照我们的经验,主要有5个部分:
1. 评测体系
2. 数据挖掘处理平台
3. 评测执行工具
4. 任务分发管理平台
5. 结果分析展示平台
由于这块内容较多,后续由其他同学结合我们工作中的实际案例给大家进行分享。
后续每周二我们会继续和大家一起分享如何搭建一套好的品质评测系统,欢迎关注,一起交流学习。
白盒测试系列文章
白盒测试体系—开篇
白盒测试体系—框架搭建
白盒测试体系—用例维护
白盒测试体系—流程规范
白盒测试体系—结果度量
白盒测试体系—团队文化
本文分享自微信公众号 - 搜狗测试(SogouQA)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。