ai-agent-testing git:20260915.bc5a8d6A

Immutable. This exact content never changes and is served at /api/v1/blob/5a29f6c74ff0f1c2.

---
name: ai-agent-testing
description: Use this skill when you need to generate a concrete test suite for AI agent behavior, planning, tool usage, memory, and safety; triggers include AI Agent 测试, agent测试, agent测试用例, and ai agent testing.
---

# AI Agent 测试

## 何时使用

- 用户提供 Agent 的目标、工具集、指令或任务轨迹，需要生成**可执行的测试套件**。
- 需要验证 Agent 的规划、记忆、工具使用、恢复能力、安全边界。

## 输入要求

| 必填 | 字段 | 说明 |
|------|------|------|
| ✅ | Agent 描述 | 目标、指令、可用工具列表 |
| ✅ | 测试范围 | 任务完成 / 规划 / 工具使用 / 记忆 / 安全（选一或多选） |
| ⬜ | 任务轨迹 | Agent 已有的执行记录或日志 |
| ⬜ | 成功标准 | 通过/失败的判定条件 |
| ⬜ | 风险限制 | 不可执行的操作、权限边界 |

## 执行流程

### 1. 输入审计

- 检查 Agent 描述是否包含：目标、工具、输入/输出格式
- 检查测试范围是否明确
- 缺失信息标记为「假设」并给出默认值

### 2. 能力建模

为被测 Agent 建立能力矩阵：

| 维度 | 测试内容 | 优先级 |
|------|---------|--------|
| 任务完成 | 目标达成、输出质量、格式正确 | P0 |
| 规划能力 | 步骤拆解、依赖处理、回退策略 | P0 |
| 工具使用 | 工具选择、参数传递、结果解析 | P0 |
| 记忆一致性 | 上下文保持、跨轮次一致、无幻觉 | P1 |
| 失败恢复 | 错误处理、重试策略、降级方案 | P1 |
| 安全边界 | 权限限制、拒绝越权、数据保护 | P0 |

### 3. 测试用例生成

为每个维度生成具体测试用例，格式：

```markdown
## [P0] TC-<维度>-<序号>: <用例标题>
[测试维度] 规划能力
[前置条件] Agent 已加载工具列表：[...]
[输入] <具体的用户指令或任务>
[预期行为] 1. <步骤1的预期> 2. <步骤2的预期>
[预期输出] <最终输出的判定标准>
[通过标准] 所有预期行为发生 + 输出满足判定标准
[失败风险] <可能的失败模式>
```

### 4. 用例校验

生成后必须执行以下校验：

- [ ] 每个测试维度至少有 2 条用例（正向 + 反向/异常）
- [ ] 每条用例有明确的前置条件和输入
- [ ] 预期行为可观察、可验证（非主观判断）
- [ ] 通过标准具体（有数值、有判定条件）
- [ ] 覆盖至少一个安全/权限边界用例
- [ ] 无重复用例（相同输入+预期 = 同一条）

### 5. 输出交付物

| 文件 | 内容 |
|------|------|
| `test-suite.md` | 完整测试用例集（含维度矩阵、用例、通过标准） |
| `run-checklist.md` | 执行清单（按优先级排序的逐条检查项） |

## 核心约束

- 输出必须是**可逐条执行的测试用例**，不是笼统的检查清单。
- 同时评价最终结果和过程轨迹。
- 将随机性纳入重复试验，不要把单次成功当作可靠性证明。
- 安全测试只在授权环境使用占位数据。

## 参考文件

- `prompts/ai-agent-testing.md`：详细执行规范。
- `evals/eval.yaml` + `evals/cases/`：评估用例模板。

## 常见误区

- 只列检查点不给具体输入和预期 → 必须有输入+行为+输出三要素。
- 只测正向流程 → 必须包含至少一条异常/边界用例。
- 用单次运行结果下结论 → 需要重复验证或说明随机性影响。