自动化测试不是写脚本,而是给 AI 一套操作协议
提示词让 AI 会说话,协议才能让它把测试做完
很多团队第一次把 AI 接进自动化测试,做法都很像:
给现有测试框架套一个自然语言入口,再写一段提示词:
1 | 你是资深测试工程师,请根据需求完成测试。 |
一开始效果惊人。AI 能读需求、能调接口、能打开页面,甚至会主动补充边界场景。
但跑上几天,问题就开始出现:
- 需求还没批准,AI 已经开始执行测试;
- 页面提示“保存成功”,AI 就判定通过,刷新后数据其实没落库;
- 定位器不稳定,AI 悄悄换了一个选择器,继续把用例跑绿;
- 测试环境没准备好,AI 把
blocked写成failed,还顺手创建了一个缺陷; - 同一条命令失败两次,AI 继续微调参数,把一个可恢复问题拖成半天的无效执行。
这些问题看起来像“模型不够聪明”,但本质不是。
真正缺的不是提示词,而是协议。
传统自动化测试把人的操作翻译成脚本。AI 进入以后,系统面对的不再是确定性脚本,而是一个会理解、会猜测、会临场决策的执行者。你给它越多自由,它就越需要边界。
否则,它不是在执行测试,而是在测试你的管理能力。
一、脚本思维解决不了 AI 的不确定性
传统自动化测试的核心假设是:只要代码不变,执行路径就不变。
所以我们会写:
1 | 打开页面 → 输入参数 → 点击提交 → 断言结果 |
脚本是一串确定动作,失败时看堆栈,通常就能定位问题。
但 AI 执行测试不是这样。你给它一个目标,它会在每一步做选择:
- 现在该读需求,还是直接开始执行?
- 这个接口失败,是环境问题还是产品问题?
- 页面没有出现预期元素,是等一会儿,还是换个定位器?
- 当前用例失败了,能不能跳过,先去跑下一条?
- 用户说“继续”,是允许它越过审批,还是只是让它接着当前动作?
这些选择如果没有人管,AI 就会用自己的“常识”补齐。
而测试最怕的,恰恰是没被定义的常识。
| 脚本自动化 | AI 自动化 |
|---|---|
| 输入是参数 | 输入是意图和上下文 |
| 流程写在代码里 | 流程需要状态和门禁约束 |
| 权限来自运行账号 | 权限必须拆到动作级 |
| 成功靠断言 | 成功要靠断言、证据和回读 |
| 失败输出堆栈 | 失败必须分类并决定是否继续 |
所以,AI 自动化测试的核心工作,不是“让 AI 会调用更多工具”,而是设计一套它必须遵守的操作协议。
二、状态协议:AI 只能选择合法的下一步
协议的第一层,是把流程从“提示词里的建议”变成“系统里的状态”。
以一个测试需求为例,正常流程可以抽象成:
1 | 需求分析 → 分析评审 → 用例设计 → 用例评审 → 测试执行 → 报告交付 |
每个状态只有一个正常下一步。
AI 在做任何阶段动作前,必须先回答三个问题:
- 当前需求处于什么状态?
- 用户这次请求对应哪个动作?
- 这个动作是不是当前状态允许的唯一下一步?
比如需求分析还没有经过人工批准,用户说“执行测试”。AI 不能因为“用户已经发话了”就直接开跑,而应该停下来报告:
1 | 当前状态:分析草案待审批 |
这不是死板,而是在消除歧义。
因为在 AI 系统里,“继续”是一个极其危险的词。它可能意味着继续读取,也可能意味着继续执行;可能是在当前阶段继续,也可能是越过门禁继续。状态协议的作用,就是让“继续”没有解释空间。
只读问答、状态查询和查看报告可以不推进状态。但只要涉及写数据、跑测试、发布结果或流转需求,就必须走状态路由。
一个可执行的判断可以简单写成:
1 | if requested_action != next_allowed_action: |
AI 不需要拥有“决定下一步”的权力,它只需要知道“下一步是什么”。
三、动作协议:Skill 不是“会做事”,而是“只能这样做”
状态解决“什么时候能做”,动作解决“具体怎么做”。
在 AI 测试框架里,Skill 很容易被理解成一组工具函数:
- 创建测试订单;
- 调用某个接口;
- 打开某个页面;
- 查询某张表;
- 生成一份报告。
但一个真正可用的 Skill,不能只描述自己能做什么。它至少还要定义:
- 需要哪些输入;
- 执行前必须满足什么条件;
- 是只读还是写入;
- 写入属于什么风险等级;
- 成功后的最终状态是什么;
- 失败后如何分类;
- 需不需要清理或恢复;
- 哪些动作永远不允许执行。
例如,一个造数 Skill 的契约不应该只是“创建订单”,而更接近下面这样:
1 | skill: test-data |
注意几个设计:
第一,默认 dry-run。
AI 可以先生成计划、展示参数、检查前置条件,但只有显式传入写入开关,才真正修改环境。
第二,动作必须命名。
不能让 AI 临时拼一段 SQL 或脚本,然后说“我只是想帮你把数据准备好”。所有写操作都应该是预定义、可审计的命名动作。
第三,成功条件写在动作契约里。
不是“命令退出码为 0”,而是“对象已经创建、业务状态正确、最终页面或接口可以回读”。
第四,失败语义也属于契约。
超时、环境未部署、权限不足、数据冲突,不能最后都变成一句“执行失败”。不同失败类型对应不同处置,不能交给 AI 临场发挥。
一句话概括:
普通工具告诉 AI“你能做什么”,协议告诉 AI“你只能怎样做,以及做到什么程度才算完成”。
四、权限协议:读可以宽,写必须窄
AI 测试最容易出事故的地方,不是读错文件,而是写错环境。
所以权限不能只有一个“允许/禁止”开关,而要按风险分级。
| 等级 | 典型动作 | 约束 |
|---|---|---|
| A 档:隔离写 | 创建本次运行独有、可识别的测试数据 | 免逐次确认,但必须回读并记录 |
| B 档:共享写 | 修改已有共享配置、公共数据或可恢复状态 | 人工确认,快照 → 修改 → 留证 → 恢复 → 回读 |
| C 档:永久禁止 | 生产环境操作、删库、DDL、代码提交、不可恢复写入 | 没有确认入口 |
这套分档的价值,是把“要不要问人”从主观判断变成规则判断。
- 只读操作可以自由做;
- A 档可以自动做,但必须能在结果里说清楚创建了什么;
- B 档必须停下来,先说清楚改哪个对象、原值是什么、怎么恢复;
- C 档不提供“用户确认后继续”的通道,因为它根本不该出现在测试执行链路里。
其中 B 档最重要。它不是“允许修改共享数据”,而是“允许在一个可证明可恢复的闭环里修改共享数据”:
1 | 快照原值 → 修改 → 保存证据 → 恢复 → 再次回读 |
五步缺一不可。
如果恢复失败,系统应该立即停止后续用例,把本轮标记为阻塞,并在报告顶部提示:测试环境存在未恢复变更。
自动化不是把风险藏起来,而是把风险拆成看得见的等级。
五、证据协议:成功必须落在最终目的地上
AI 很擅长生成“看起来完成了”的结果。
页面出现了成功提示,它可以说完成了;接口返回 200,它可以说完成了;测试命令退出码为 0,它也可以说完成了。
但测试关心的是:业务最终状态真的正确吗?
所以每一种执行都要有对应的证据契约:
- 每个用例必须绑定唯一用例编号;
- 每一步记录实际动作和实际结果;
- UI 操作保存关键截图;
- 接口调用保存请求和响应;
- 写操作完成后必须刷新、重开或重新查询;
- 失败、阻塞和未执行范围要如实保留;
- 重跑不能复用上一次运行的旧证据。
最重要的规则是:
成功条件必须定义在最终目的地,不能定义在中间命令的退出码上。
例如,页面点击保存后出现“保存成功”:
1 | 点击保存 → 出现成功提示 ✅ 中间结果 |
只有第二条成立,才算持久化成功。
这条规则听起来很基础,但 AI 很容易在中间结果上宣布胜利。因为成功提示是显性的,而最终状态需要多走一步验证。协议的价值,就是把“多走一步”变成不能省略的动作。
六、失败协议:会停下来,才算会执行
一个只会往前冲的 AI,不适合做测试执行。
真正可用的系统必须知道什么时候停:
- 门禁不通过,停止;
- 环境前置条件不满足,停止;
- 共享数据恢复失败,停止;
- 审批版本与实际用例不一致,停止;
- 证据不足,不能判定通过;
- 连续失败,停止本轮并等待人工判断。
失败也需要分类,而不是统一写成 failed:
failed:业务行为确实不符合预期;blocked:环境、权限、数据或前置条件阻塞;not-covered:本轮没有覆盖;limited-pass:在明确限制下通过,并且限制必须保留在报告中。
尤其要注意:阻塞不等于缺陷。
环境没部署、账号没权限、数据无法构造,这些都不能自动创建 Bug。缺陷必须建立在已经确认的产品行为不符合预期之上,而不是建立在“AI 没跑通”之上。
重试也要有边界:
- 只读请求、幂等操作可以有限重试;
- 付款、审批、状态流转等有副作用的动作,不能盲目重试;
- 同一个思路连续失败两次,第三次必须换路径,而不是继续微调参数。
很多 AI 自动化最后不是败在能力不足,而是败在没有止损点。
能自动停下来,是自动化系统的一项核心能力。
七、测试工程师真正要设计什么
当 AI 开始执行测试,测试工程师的工作并没有消失,只是重心变了。
以前更多是在写脚本:
1 | 怎么点、怎么填、怎么断言。 |
现在更多是在设计协议:
- 哪些状态必须互斥;
- 哪些动作必须审批;
- 哪些数据可以自动创建;
- 哪些写入必须快照恢复;
- 什么证据才能证明通过;
- 哪些失败必须停止;
- 哪些决定永远不能交给 AI。
这其实比写脚本更难。
因为脚本只描述理想路径,而协议要覆盖理想路径、异常路径和不该发生的路径。
但它也更接近测试工作的本质:测试不是证明系统会顺着走,而是定义什么情况下不能算通过。
最后
AI 自动化测试的成熟度,不该只看它能自己跑多少步。
更重要的指标是:
- 它每一步是否经过允许?
- 每个结果是否可以解释?
- 每次写入是否能够恢复?
- 每条结论是否有证据支撑?
- 遇到不该继续的情况,它是否真的会停?
提示词可以让 AI 看起来像一个测试工程师。
协议才能让它像一个可以被信任的执行者。
让 AI 负责执行,让协议负责边界,让人保留最终判定权。