提示词让 AI 会说话,协议才能让它把测试做完


很多团队第一次把 AI 接进自动化测试,做法都很像:

给现有测试框架套一个自然语言入口,再写一段提示词:

1
你是资深测试工程师,请根据需求完成测试。

一开始效果惊人。AI 能读需求、能调接口、能打开页面,甚至会主动补充边界场景。

但跑上几天,问题就开始出现:

  • 需求还没批准,AI 已经开始执行测试;
  • 页面提示“保存成功”,AI 就判定通过,刷新后数据其实没落库;
  • 定位器不稳定,AI 悄悄换了一个选择器,继续把用例跑绿;
  • 测试环境没准备好,AI 把 blocked 写成 failed,还顺手创建了一个缺陷;
  • 同一条命令失败两次,AI 继续微调参数,把一个可恢复问题拖成半天的无效执行。

这些问题看起来像“模型不够聪明”,但本质不是。

真正缺的不是提示词,而是协议。

传统自动化测试把人的操作翻译成脚本。AI 进入以后,系统面对的不再是确定性脚本,而是一个会理解、会猜测、会临场决策的执行者。你给它越多自由,它就越需要边界。

否则,它不是在执行测试,而是在测试你的管理能力。

一、脚本思维解决不了 AI 的不确定性

传统自动化测试的核心假设是:只要代码不变,执行路径就不变。

所以我们会写:

1
打开页面 → 输入参数 → 点击提交 → 断言结果

脚本是一串确定动作,失败时看堆栈,通常就能定位问题。

但 AI 执行测试不是这样。你给它一个目标,它会在每一步做选择:

  • 现在该读需求,还是直接开始执行?
  • 这个接口失败,是环境问题还是产品问题?
  • 页面没有出现预期元素,是等一会儿,还是换个定位器?
  • 当前用例失败了,能不能跳过,先去跑下一条?
  • 用户说“继续”,是允许它越过审批,还是只是让它接着当前动作?

这些选择如果没有人管,AI 就会用自己的“常识”补齐。

而测试最怕的,恰恰是没被定义的常识。

脚本自动化 AI 自动化
输入是参数 输入是意图和上下文
流程写在代码里 流程需要状态和门禁约束
权限来自运行账号 权限必须拆到动作级
成功靠断言 成功要靠断言、证据和回读
失败输出堆栈 失败必须分类并决定是否继续

所以,AI 自动化测试的核心工作,不是“让 AI 会调用更多工具”,而是设计一套它必须遵守的操作协议。

二、状态协议:AI 只能选择合法的下一步

协议的第一层,是把流程从“提示词里的建议”变成“系统里的状态”。

以一个测试需求为例,正常流程可以抽象成:

1
需求分析 → 分析评审 → 用例设计 → 用例评审 → 测试执行 → 报告交付

每个状态只有一个正常下一步。

AI 在做任何阶段动作前,必须先回答三个问题:

  1. 当前需求处于什么状态?
  2. 用户这次请求对应哪个动作?
  3. 这个动作是不是当前状态允许的唯一下一步?

比如需求分析还没有经过人工批准,用户说“执行测试”。AI 不能因为“用户已经发话了”就直接开跑,而应该停下来报告:

1
2
3
当前状态:分析草案待审批
缺失门禁:需求澄清与用例范围尚未获得明确批准
正常下一步:审阅并批准需求澄清文档

这不是死板,而是在消除歧义。

因为在 AI 系统里,“继续”是一个极其危险的词。它可能意味着继续读取,也可能意味着继续执行;可能是在当前阶段继续,也可能是越过门禁继续。状态协议的作用,就是让“继续”没有解释空间。

只读问答、状态查询和查看报告可以不推进状态。但只要涉及写数据、跑测试、发布结果或流转需求,就必须走状态路由。

一个可执行的判断可以简单写成:

1
2
3
if requested_action != next_allowed_action:
stop()
report(current_state, missing_gate, next_allowed_action)

AI 不需要拥有“决定下一步”的权力,它只需要知道“下一步是什么”。

三、动作协议:Skill 不是“会做事”,而是“只能这样做”

状态解决“什么时候能做”,动作解决“具体怎么做”。

在 AI 测试框架里,Skill 很容易被理解成一组工具函数:

  • 创建测试订单;
  • 调用某个接口;
  • 打开某个页面;
  • 查询某张表;
  • 生成一份报告。

但一个真正可用的 Skill,不能只描述自己能做什么。它至少还要定义:

  • 需要哪些输入;
  • 执行前必须满足什么条件;
  • 是只读还是写入;
  • 写入属于什么风险等级;
  • 成功后的最终状态是什么;
  • 失败后如何分类;
  • 需不需要清理或恢复;
  • 哪些动作永远不允许执行。

例如,一个造数 Skill 的契约不应该只是“创建订单”,而更接近下面这样:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
skill: test-data
action: create-order
mode: write
default: dry-run
requires:
- requirement_id
- business_params
preconditions:
- test_environment_ready
- write_tier in [A, B]
postconditions:
- record_id_returned
- business_state_readback_matches
failure:
status: blocked
cleanup: required

注意几个设计:

第一,默认 dry-run。

AI 可以先生成计划、展示参数、检查前置条件,但只有显式传入写入开关,才真正修改环境。

第二,动作必须命名。

不能让 AI 临时拼一段 SQL 或脚本,然后说“我只是想帮你把数据准备好”。所有写操作都应该是预定义、可审计的命名动作。

第三,成功条件写在动作契约里。

不是“命令退出码为 0”,而是“对象已经创建、业务状态正确、最终页面或接口可以回读”。

第四,失败语义也属于契约。

超时、环境未部署、权限不足、数据冲突,不能最后都变成一句“执行失败”。不同失败类型对应不同处置,不能交给 AI 临场发挥。

一句话概括:

普通工具告诉 AI“你能做什么”,协议告诉 AI“你只能怎样做,以及做到什么程度才算完成”。

四、权限协议:读可以宽,写必须窄

AI 测试最容易出事故的地方,不是读错文件,而是写错环境。

所以权限不能只有一个“允许/禁止”开关,而要按风险分级。

等级 典型动作 约束
A 档:隔离写 创建本次运行独有、可识别的测试数据 免逐次确认,但必须回读并记录
B 档:共享写 修改已有共享配置、公共数据或可恢复状态 人工确认,快照 → 修改 → 留证 → 恢复 → 回读
C 档:永久禁止 生产环境操作、删库、DDL、代码提交、不可恢复写入 没有确认入口

这套分档的价值,是把“要不要问人”从主观判断变成规则判断。

  • 只读操作可以自由做;
  • A 档可以自动做,但必须能在结果里说清楚创建了什么;
  • B 档必须停下来,先说清楚改哪个对象、原值是什么、怎么恢复;
  • C 档不提供“用户确认后继续”的通道,因为它根本不该出现在测试执行链路里。

其中 B 档最重要。它不是“允许修改共享数据”,而是“允许在一个可证明可恢复的闭环里修改共享数据”:

1
快照原值 → 修改 → 保存证据 → 恢复 → 再次回读

五步缺一不可。

如果恢复失败,系统应该立即停止后续用例,把本轮标记为阻塞,并在报告顶部提示:测试环境存在未恢复变更。

自动化不是把风险藏起来,而是把风险拆成看得见的等级。

五、证据协议:成功必须落在最终目的地上

AI 很擅长生成“看起来完成了”的结果。

页面出现了成功提示,它可以说完成了;接口返回 200,它可以说完成了;测试命令退出码为 0,它也可以说完成了。

但测试关心的是:业务最终状态真的正确吗?

所以每一种执行都要有对应的证据契约:

  • 每个用例必须绑定唯一用例编号;
  • 每一步记录实际动作和实际结果;
  • UI 操作保存关键截图;
  • 接口调用保存请求和响应;
  • 写操作完成后必须刷新、重开或重新查询;
  • 失败、阻塞和未执行范围要如实保留;
  • 重跑不能复用上一次运行的旧证据。

最重要的规则是:

成功条件必须定义在最终目的地,不能定义在中间命令的退出码上。

例如,页面点击保存后出现“保存成功”:

1
2
点击保存 → 出现成功提示     ✅ 中间结果
刷新页面 → 数据仍然存在 ✅ 最终结果

只有第二条成立,才算持久化成功。

这条规则听起来很基础,但 AI 很容易在中间结果上宣布胜利。因为成功提示是显性的,而最终状态需要多走一步验证。协议的价值,就是把“多走一步”变成不能省略的动作。

六、失败协议:会停下来,才算会执行

一个只会往前冲的 AI,不适合做测试执行。

真正可用的系统必须知道什么时候停:

  • 门禁不通过,停止;
  • 环境前置条件不满足,停止;
  • 共享数据恢复失败,停止;
  • 审批版本与实际用例不一致,停止;
  • 证据不足,不能判定通过;
  • 连续失败,停止本轮并等待人工判断。

失败也需要分类,而不是统一写成 failed:

  • failed:业务行为确实不符合预期;
  • blocked:环境、权限、数据或前置条件阻塞;
  • not-covered:本轮没有覆盖;
  • limited-pass:在明确限制下通过,并且限制必须保留在报告中。

尤其要注意:阻塞不等于缺陷。

环境没部署、账号没权限、数据无法构造,这些都不能自动创建 Bug。缺陷必须建立在已经确认的产品行为不符合预期之上,而不是建立在“AI 没跑通”之上。

重试也要有边界:

  • 只读请求、幂等操作可以有限重试;
  • 付款、审批、状态流转等有副作用的动作,不能盲目重试;
  • 同一个思路连续失败两次,第三次必须换路径,而不是继续微调参数。

很多 AI 自动化最后不是败在能力不足,而是败在没有止损点。

能自动停下来,是自动化系统的一项核心能力。

七、测试工程师真正要设计什么

当 AI 开始执行测试,测试工程师的工作并没有消失,只是重心变了。

以前更多是在写脚本:

1
怎么点、怎么填、怎么断言。

现在更多是在设计协议:

  • 哪些状态必须互斥;
  • 哪些动作必须审批;
  • 哪些数据可以自动创建;
  • 哪些写入必须快照恢复;
  • 什么证据才能证明通过;
  • 哪些失败必须停止;
  • 哪些决定永远不能交给 AI。

这其实比写脚本更难。

因为脚本只描述理想路径,而协议要覆盖理想路径、异常路径和不该发生的路径。

但它也更接近测试工作的本质:测试不是证明系统会顺着走,而是定义什么情况下不能算通过。

最后

AI 自动化测试的成熟度,不该只看它能自己跑多少步。

更重要的指标是:

  • 它每一步是否经过允许?
  • 每个结果是否可以解释?
  • 每次写入是否能够恢复?
  • 每条结论是否有证据支撑?
  • 遇到不该继续的情况,它是否真的会停?

提示词可以让 AI 看起来像一个测试工程师。

协议才能让它像一个可以被信任的执行者。

让 AI 负责执行,让协议负责边界,让人保留最终判定权。