|
2021年是智慧客服系统集约的全面收官之年，也是全面进入深度运营的元年。在集约过程中，我们围绕“客户感知不降低、话务承接平稳过渡”原则，在集团客服部统筹下，协同四方推进集约实施工作，确保了集约化运营的准备期、割接期、常态运营期3个阶段的平稳过渡。在深度运营期，如何“聚焦改善客户服务感知，打造敏捷智慧的卓越服务体验，提升客户满意度和忠诚度，为客户创造更大价值，以“近悦远来”的服务口碑推动公司高质量发展是需下一个攻占的高地。 1. 当前问题和挑战 回顾历程，智慧客服系统是软研院第一个上天宫、天梯的全IP化、全云化平台。在业务激增情况下需要保证用户感知不降低，难度媲美与极速的高铁上换发动机。传统的测试手段力不从心，面临以下几大挑战：1）单元测试：开发自测力度不足，无法提前发现问题；2）自动化测试：在复杂的业务场景下，自动化测试侧重于主干流程覆盖，而无法保障精细化场景的覆盖全面。3）功能测试： 从2020年一个迭代50多个任务到目前的140个任务，在规模体量越来越大的同时，很多问题也越发的明显：软件质量从来不是一日之功。针对不同测试阶段的问题和挑战， 智慧客服质量组系统思考，以点破局，锁定要害，别出机杼，以快速促生产，优质量，提效率为目标，从测试流程、测试设计、测试策略、风险预警、版本交维、自动化测试等多方面进行攻坚，开启了全方位提效保质体系建设之路。历经一年多的实践，形成了集文化、工程、管理模式有机结合的测试体系，更快、更好可持续性的提升质量。新客服产品交付从过去的年/季度等长周期不断缩短到周/天级别，快速而高效的交付，离不开可靠的质量保障建设。为了全方位，全景式的跟踪项目的进展，践行持续交付的理念，测试组积极响应软研院的号召，在2021年9月份开始推动项目组使用公司内部的一站式研发过程管理工具-天梯，通过多次与天梯、研发、需求等沟通和优化，最终确认了一套适合智慧客服项目组的研发流程。联合需求、研发、测试、版本，实现了各个环节的链路打通，使得质量数据、研发进展一站式跟踪。- 天梯流程建设：通过各个角色的流转来打造敏捷研发的基石
- 流程管控：通过上线时间倒推各个环节的节点，制定每个节点必须完成的任务，每天通报相关指标和任务进展，结合考核指标达到流程管控的目的
- 测试左移：通过提前介入需求评审并且真正的提出一些前瞻性的建议来避免一些工作上的浪费以及后续的问题；设定代码质量和单元测试门禁，对于有代码质量问题和单元测试覆盖率不达标的服务不允许构建
- 测试右移：通过版本交维提前让运维人员了解当前版本的上线内容以及上线后需要重点关注的内容，及时做好监控和防范
- 对于团队来说，形成了质量内建的文化，并且形成一套有法可依、有章可循的流程体系。
测试管理建设旨在提高用例的规范性、可复用性、可执行性，从而减少漏测频率的发生，主要从下面两个方向来提升。随着智慧客服在全国31个省份的集约，早期的每个省份一份测试用例的问题成为了测试组提效路上的一个绊脚石。测试组经过与版本组和业务方的多次沟通，在2021年四季度对测试用例全面整改换版，在加大可执行性的同时提高测试用例编写效率。 - 针对各种可能出现的情况，提供多种适配例子，让测试人员遇到复杂场景时，有例可循；
- 细化用例颗粒度，区分正向和反向场景，提高用例质量；
- 制定天梯上传用例规范，强化改善合作伙伴用例编写习惯；
- 用例编写效率提升20%，试用初期全部测试用例完成时间比原来提前至少1天
- 整体用例质量增强：自12月实行通用用例以来，暂无反馈测试用例编写细节问题；用例命名，测试省份等低级问题比四季度初降低了75%
- 提高了下游团队版本组的工作效率，实现了一键下载用例和自动化分配用例，减少了人工工作成本。
智慧客服系统功能模块多，随着集约的完成，需要在有限的测试人力资源下进行更多更全场景的覆盖测试，专注在测试执行本身上。因此在试行通用测试用例标准的同时，测试组依托天梯测试管理平台开始线上可视化测试管理流程建设。- 制定天梯测试用例库使用规范，按功能模块进行用例存放，对用例进行打标
- 严格把关测试用例质量，按通用用例编写规范严格落实，由专人检查
- 原有线下用例、在线文档用例按照规范批量导入天梯用例库
- 难点：测试人员直接导入用例，并未对用例进行分模块存放，测试颗粒度难把控，编写格式随意
- 攻克方法：专人定期检查，发现问题及时通知整改。制定标准规范，并进行宣贯。
- 经过2-3个版本的试运行，目前已实现40%迭代任务通过天梯测试用例库管理
- 3%测试任务可以完全使用原有已评审用例进行测试执行，节约了测试用例编写和评审的时间，同时也提高了质量
- 场景复用率提高，场景越来越全面，BUG提交量四季度较三季度提升24.51%
风险可能存在项目中的任何一个环节，如何准确的识别并且正确的规避风险将会大大的提高系统的稳定性。测试组从需求评审阶段开始进行对各个阶段开始进行风险识别、有效评估、积极应对，主要从项目、资源、技术、质量的维度来尽可能的识别风险，并且通过风险出现的概率情况、对测试目标的影响程度来综合判断风险级别，通过不同的阶段不同的风险级别来调整相应的测试策略来保证项目测试活动的正常进行，从而达到价值交付 为了方便运维人员快速了解迭代内容，线上出现问题时精准定位问题，质量组在版本发版前一天联合需求、研发、运维就当前版本的整体测试情况、高感知任务、高风险任务进行集中讲解，通过版本交维，实现了以下效果：- 掌据全局：所有角色了解当前版本的整体情况，有问题及时纠正
- 预知风险：运维人员了解上线后会有哪些风险任务，方便及时调整监控，以及出问题后如何快速解决
- 高感知任务梳理：针对影响线上高感知的任务，平均一个迭代30个左右进行讲解，方便运维人员快速了解上线内容，有重点的保障线上质量
为了更迅速的反馈版本质量，测试组自动化专业线人员进行了核心场景自动化用例覆盖，采用“发版前滚动冒烟+发版后第一时间自动化验证及反馈结果”的形式，更快发现问题，更快校验及回复，联合功能团队以及省份冒烟同事，合力保障核心场景功能稳定性。
|
