AI资讯 / 工程

工程 / 工程

应用管理与团队权限控制实践

AWS Machine Learning

随着QA自动化在企业内部推广,测试用例的组织管理与权限控制逐渐取代测试编写本身,成为最大的工程挑战。AWS在QA Studio系列第三篇中,围绕Amazon Nova Act平台新增了两项核心能力:一是「应用」概念,将测试用例与测试套件归属于具体系统,并通过CloudWatch自定义指标生成健康度评分;二是基于团队的用户管理体系,通过五级角色(管理员、团队负责人、编辑、执行者、查看者)精细控制各团队对应用及测试的访问权限。健康度评分从通过率出发,并对不稳定测试施加惩罚,避免虚假的完美数据。团队成员只能看到所属团队的应用,权限管理集中在应用层面而非数千条独立测试上,显著降低了大规模协作的管理复杂度。

当一个平台团队搭建起测试自动化基础设施后,第二个团队随即加入,随后是更多团队。很快,数百条测试用例分属不同产品和小组,所有人都能看到彼此的测试内容。此时,真正的瓶颈不再是如何编写测试,而是如何组织测试、明确归属,以及在覆盖率下滑时找到责任人。QA Studio系列前两篇分别介绍了基于自然语言的测试定义与CI/CD批量回归测试,第三篇则聚焦于支撑组织级规模化的两项关键能力。

QA Studio引入了「应用」作为核心组织单元,代表被测系统——可以是网站、Web应用或服务前端。每个应用包含名称、基础URL以及可选的环境配置(如开发、预发布、生产)。测试用例和测试套件均归属于某个应用,并继承其所有权。团队在自己拥有的应用内工作,不再面对一张包含全部测试的扁平列表。应用详情页支持直接创建新用例、添加已有用例,并将其组织为测试套件,同时展示该应用的测试健康状态。

QA Studio将每次执行结果记录为Amazon CloudWatch自定义指标,按应用和环境维度分类,并在应用页面生成健康视图。页面顶部展示三项核心数据:选定时间窗口内的通过率、总执行次数和当前失败数。平台还计算0至100分的健康评分,以通过率为基础,对不稳定测试(即在通过与失败之间频繁切换的用例)施加惩罚,从而避免呈现虚假的完美状态。团队扫描多个应用时,无需逐一打开结果即可识别哪些应用稳定、哪些需要关注。

指标标签页提供趋势分析,支持7天(小时粒度)或30天(天粒度)两种时间窗口,展示执行次数、成功数、失败数及平均耗时的变化曲线。由于底层指标携带环境维度,团队可过滤至单一环境,例如对比同一组测试在预发布与生产环境中的表现差异。平台还提供两个专项视图:不稳定测试视图按过去七天的翻转频率对用例排名,帮助在问题演变为生产事故前提前发现;近期失败视图列出最新失败执行,每条记录直接链接至Amazon Nova Act的轨迹日志与会话录像,从发现问题到定位根因只需一次点击。

团队权限体系围绕五个累积角色构建:管理员拥有全平台访问权限;团队负责人可管理本团队成员并创建应用;编辑可在团队应用内创建和修改用例及测试套件;执行者可运行测试但不能修改;查看者仅有只读权限。每个应用归属且仅归属于一个团队,团队成员只能访问本团队的应用,其他团队的应用对其不可见。权限管理集中在应用层面,而非分散到数千条独立测试,大幅降低了大规模协作场景下的管理复杂度。

管理员可通过用户页面查看全平台所有账户及其团队与角色分配,也可通过团队页面按团队汇总成员数与应用数,快速掌握哪些团队正在扩张。全平台应用列表则跨团队展示所有应用,为管理员提供统一的全局视图。随着QA Studio从单团队工具演进为组织级平台,应用分组、健康度量化与细粒度权限控制共同构成了可持续扩展的基础架构,为后续更大规模的智能化QA实践奠定了基础。

要点

  • QA Studio引入「应用」概念作为测试组织单元,将用例与套件归属于具体系统,解决了大规模部署下测试归属不清的问题。
  • 健康评分在通过率基础上对不稳定测试施加惩罚,避免频繁翻转的测试掩盖真实的质量风险。
  • 五级累积角色体系将权限管理集中在应用层面,团队成员只能访问本团队应用,显著降低了跨团队协作的权限管理复杂度。
  • 不稳定测试视图与近期失败视图结合Nova Act轨迹日志,实现了从发现问题到定位根因的一键跳转。
  • CloudWatch自定义指标支持按应用、环境维度过滤,团队可直接对比同一测试集在不同环境下的健康趋势。
查看原始来源

原始标题:Accelerating software delivery with agentic QA automation using Amazon Nova Act – Part 3

本文由 DataHub 基于公开来源整理,用于信息发现与摘要阅读;具体事实、数据和后续更新以原始来源为准。