ai-evaluation-engineering git:20260730.6ee304aA

Immutable. This exact content is served forever at /api/v1/blob/30d8c4287a14a2b2.

---
name: ai-evaluation-engineering
description: AI 评测工程专家 Owner — 当任务涉及模型/Prompt 评测、模型选择、黄金集、评分量表、LLM-as-judge、Judge 校准、重复采样、方差、质量-成本-延迟权衡、提示词回归或模型升级回归时使用；要求把概率性结果转化为可复现、可比较且防污染的评测证据。
---

# AI Evaluation Engineering

## 职责

设计概率性 AI 系统的评测数据、指标、Judge、重复采样、方差和回归决策。AI Agent Skill 负责系统行为，quality-strategy 负责整体测试组合；本 Skill 负责模型/Prompt 质量证据。

## AiEvaluationEngineeringGate

| 字段 | 要求 |
|---|---|
| evaluationDatasetManifest | 来源、版本、许可/隐私、任务分层、难例、污染风险和 split |
| goldenCaseSet | 输入、期望属性/答案、允许变体、失败标签和维护 owner |
| metricRubric | deterministic/semantic/human 指标、权重、阈值和不可聚合项 |
| judgeCalibration | Judge 模型/Prompt/版本、盲测、与人工一致性、偏差和漂移 |
| samplingProtocol | temperature/seed、重复次数、置信区间、停止规则和失败重试 |
| varianceReport | 均值、分布、尾部失败、跨 run/provider 差异和不确定性 |
| costLatencyQualityFrontier | token/费用/延迟/成功率/质量的 Pareto 权衡 |
| regressionDecision | baseline/candidate、显著性、阻断阈值、例外和 rollback |

## 执行流程

1. 冻结 use case、风险等级、失败类型和评测决策用途。
2. 建立 train/dev/test 或等价隔离，检查 benchmark、Prompt 和检索语料污染。
3. 将确定性断言、语义评分、人工评审和业务 outcome 分层，禁止只用单一总分。
4. 校准 Judge：随机顺序、隐藏候选身份、人工样本对照、位置/长度/风格偏差。
5. 对概率性路径重复采样，报告方差和尾部失败，不用单次成功代表稳定。
6. 同时测质量、成本、延迟和工具/结构化输出正确性。
7. 用固定版本 manifest 对比 baseline/candidate，达到阈值才进入发布或模型切换。

## 输出字段

`evaluationDatasetManifest`、`goldenCaseSet`、`metricRubric`、`judgeCalibration`、`samplingProtocol`、`varianceReport`、`costLatencyQualityFrontier`、`regressionDecision`、`contaminationCheck`、`evidenceMatrix`。

## 反模式

- 用少量“看起来不错”的示例替代评测集。
- Judge 未校准、知道候选身份或与被评模型同一偏差源。
- 只跑一次、不报方差，却给出稳定性结论。
- 把模型名或主观偏好当质量证据。
- 只看质量分，不披露成本、延迟、结构化输出和工具失败。
- 在调 Prompt 时反复看 test set，造成隐性污染。
- 复制历史分数而不锁定 dataset/model/prompt/tool versions。

## 验证

至少覆盖确定性与概率性双轨、重复采样、Judge 与人工校准、position/verbosity bias、数据污染、provider fallback、工具调用/JSON 合法性、成本延迟预算、版本回归和 inconclusive 路径。