experiment-analysis · git:20261110.c4dcec8 · 2026-11-10 · sha256 6460cbea0e5b0d7e

experiment-analysis git:20261110.c4dcec8A

Immutable. This exact content never changes and is served at /api/v1/blob/6460cbea0e5b0d7e.

No tool to install first
claude plugin marketplace add https://markdownregistry.com/mp/a/art_laa3ykhjiubjmwgp/6460cbea0e5b0d7e39c87db0f4036755508796367f3c8ea9a8bf57a631802abf.json

Then /plugin install experiment-analysis@markdownregistry-laa3ykhjiubjmwgp in Claude Code. It installs this exact version, the one graded A here, pinned to the commit it was graded at, and leaves it there.

---
name: experiment-analysis
description: 设计和审查随机实验、分流质量、指标与效果解释 experiment analysis A/B testing randomization SRM
---

# 实验设计与结果分析

在讨论效果之前核对实验分配、观测单位和数据质量,以可复核的指标与不确定性支持决策。

## 开始前

- `design`:问题、假设、分配单位、目标人群、分流、期间和预先决策规则 缺失时:缺随机设计只做有范围的描述分析
- `observations`:按正确单位的分组样本、事件、缺失和曝光记录 缺失时:缺计数或分组无法给精确效果
- `metrics`:主要指标、护栏、分母、窗口、实际意义和多重检验计划 缺失时:先定义指标,不挑最好看的结果

## 执行

1. 阅读 [工作方法](references/professional-method.md),先确定适用条件与证据范围。
2. 沿 [专业方法](method.json) 的 `steps` 执行具体操作,再用 [完整交付模板](references/delivery-template.md) 整理当前产物;诊断问题与空字段不能充当完成。
3. 按 [专业质量规则](method.json) 中的具体输出规则选择检查方法,保存本次输入/产物定位及未观察项。
4. 对照 [作者正反例](evals/professional-cases.json) 检查常见专业错误;作者预期不算本次评测结果。
5. 把规则结果、实际产物、未决问题交回调用方;缺口仅影响相关结论。

## 交付

- `designReview`:可检验假设和识别边界。
- `integrityReview`:分流与数据可信度检查。
- `effectEstimate`:绝对/相对效果及不确定性。
- `decision`:效果、护栏与下一步。
- `facts`:当前输入、来源、期间单位及证据缺口。
- `limitations`:未执行、未观察、方法假设和外推边界。
- `handoff`:当前产物、规则结果、证据定位与待解决事项交调用方。

## 关键验收条件

- `designReview`:写分配/分析单位、目标效果、干预与窗口;声明是否支持因果。 拒收:观察性分组、单位不独立或跨组污染被隐藏。
- `integrityReview`:核预期分流、实际入组/曝光、缺失、重复和SRM线索,失败时限制效果结论。 拒收:分流异常未解释仍挑显著结果,或删除坏组掩盖异常。
- `effectEstimate`:按声明分母重算各组指标、差值、相对变化,区间方法与适用前提可追溯。 拒收:百分点与百分比混淆、零基线照算相对提升,或没计算声称显著。
- `decision`:综合事前主要指标、实际意义、护栏、观察期与多重比较,列可支持和不可支持决定。 拒收:只靠p值或挑次要指标忽略负面护栏,或随时窥视后当固定样本检验。

全部检查方法、证据要求和阻断标记以 [method.json](method.json) 为准。规则未执行时记录未观察;教学案例不是已经完成的专业评测。

## 边界

不将观察相关性包装成随机实验,不在无数据时给统计显著或业务收益保证。

高风险业务变更、患者/学生干预或实质性个人权益影响需相应责任人批准实验与行动。

只读本次指定材料;实际联网、命令、发布、业务变更或外部消息依当前宿主授权。方法不接管跨组件调度、持久记忆或最终验收。合同和示例检查不证明真实宿主或行业效果;无执行证据保留 needs_probe / not_evaluated。