QA 团队基于 DataLeap 开放平台能力的数据测试实践

原创
2023/12/25 14:45
阅读数 43

背景 &痛点

随着生态体系扩展和业务发展,数据在业务中承担的决策场景越来越多样化,一部分数据已应用在资损、高客诉等高风险场景,因此对数据质量的要求,尤其是高风险场景的质量要求非常之高。但在保障过程中往往面临以下痛点:

  1. 无标准化流程,管控能力较弱

  • 研发 QA 人力比高达 20:1,因此 QA 采用分级保障策略,QA 人力向高风险需求、资产变更倾斜,但是各业务对分级保障流程各有定义,且落地方式多为线下沟通人工约束,缺少标准化流程;

  • 基于需求的研发测试在风险识别、提测内容、QA 测试等环节依赖人工判断和互相通知,有高风险需求遗漏出错的风险;资产的变更管控策略各有不同,复查人随意可选,且复查人判断的依据只有 CodeRview 信息,整体来看管控能力较弱。

  1. 测试过程低效,测试管理杂乱

  • 研发自测、QA 测试过程多为手动写 sql 模式,效率低下且测试过程分散,需要在等多个平台操作切换,缺乏一站式的测试工具;

  • 测试用例设计多为个人经验,分散在各个测试报告中,无统一的用例管理;各业务测试报告各有不同,大多按照研发、QA 的个人经验输出,可读性不高,缺乏统一的测试管理。

解法

方案

流程标准化

整体设计

DataLeap 开放平台支持用户自定义扩展程序能力,扩展程序可以订阅 DataLeap 侧 OpenEvent 监听用户操作、通过 OpenAPI 与 DataLeap 开放平台进行丰富的交互实现用户行为管控;还提供将 N 个扩展程序以流水线的形式编排的能力。基于此,QA 测试环节以扩展程序「摩斯数据测试」落地,并且通过流水线的能力接入:

  1. 研发测试流程

  • 使用前:人工约束,需求和资产变更的研发测试流程靠人判断、登记、通知、协同;

    使用后:全自动化的分级保障,从开发、自测、QA 测试、发布过程全自动化模式

  1. 管控能力

  • 使用前:人工判断管控粒度;

    使用后:拓展程序自动决策管控粒度,通过对项目管理平台(meego)需求、任务的风险识别,自动判断管控分级策略,分为 QA 测试的强管控和研发自测 QA 验收的弱管控。

风险识别

「摩斯数据测试」拓展程序接入流水线可实现研发测试流程自动化和管控分级,但是对强弱管控的判断依据,如何比人工判断精准度更高?这就是接下来要思考的如何做风险识别?我们围绕「新增风险」和「存量风险」,设计以下风险识别规则:

  • 新增风险:基于 Dataops 中需求管理功能的设定,所有变更的风险都来源于项目管理平台,我们把项目管理平台信息抽象成代码可识别的规则项;

  • 存量风险:围绕「资产」从质量角度对资产分级打标、风险盘点,并把任务标签、当前风险项、历史风险等作为代码可识别的规则项,作为风险识别的依据之一。

测试平台化

架构设计

从全流程测试管理能力要求出发,我们把测试过程总结为以下几个部分:

Step 1 :测试准入,提测内容,冒烟测试

Step 2:测试过程,case 生成、单元测试,集成测试,回归测试

Step 3:测试准出,测试报告,影响面评估

Step 4:上线保障,case 转监控

基于这个过程,「摩斯数据测试平台」架构设计如下:

 

落地实现

「摩斯数据测试平台」1.0 版本已上线,基本实现了 QA 测试全过程的自动化能力,目前落地实现效果如下:

 

业务案例

背景

以 QA 团队在某直播业务中参与质量保障过程为例,QA 同学面临高风险需求多、高风险资产多、变更频次多的情况,以 2023 Q3 为例,高风险需求 55+个,高风险资产 296+个(占比 2.6%),变更次数 503+次;QA 同学面临如何保障高风险变更可管控无遗漏,同时又解决 QA 人力负载高测试成本高的问题?

应用

Step 1 :基于项目管理平台、任务的高风险标签流程落地

高风险标签流程:

  • 项目管理平台要求业务提需时明确高风险场景,规范项目管理平台标签

  • 直播任务标签,由 QA 统一推进,落地「资损」「高客诉」标签

Step 2: 协同研发,共建流水线流程

直播数仓流水线采用分级管控的策略,QA 节点对变更任务全面覆盖

  • D1~D3 任务,调试管控,提交管控 codeCT/自测检查/ QA 测试

  • D4 D5 任务快速发布,提交管控 codeCT/QA 测试

Step 3:明确高风险规则,明确 QA 触达规则

  1. 高风险规则的自定义配置:

项目管理平台需求高风险标签

  • 命中风险标签,均走流水线 QA 测试管控

  • 未命中强管控规则,自动快速跳过

任务高风险标签

  • 发布变更管控,使用发布复查能力,QA 参与变更复查

  1. QA 触达规则:明确 QA 接口人信息

同一需求任务变更过程,包括提测、修复信息全部集成流水线、机器人触达消息到指定 QA 同学

Step 4:研发团队宣讲流程,推进落地;QA 团队落地使用,助力测试提效

  1. QA 同学在直播数仓方向多个小组宣讲,推进基于流水线能力的研发测试流程落地

  2. 直播 QA 同学的测试过程由线下转向平台,节省了编写 case、case 执行、报告编写、监控配置的人工执行过程,对测试效率提升有一定帮助

收益和规划

基于扩展程序的「摩斯数据测试」1.0 版本在 7 月初上线以来,已初步具备流程标准化、测试平台化能力;截止 8 月底平台已覆盖了 DataLeap 8 个项目空间,1334 个任务管控,QA 强管控 470 例,自动转监控 380 例,粗略统计目前已经在测试过程节省 QA 同学约 30%的人力投入。

未来将围绕平台的稳定性建设,实时数据测试的支持能力,基于通用经验、语义分析和代码契约智能生成测试场景等能力等继续推进,未来向测试智能化发展。

 

 

点击跳转 大数据研发套件DataLeap 了解更多

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部