experiment-analysis · git:20261110.c4dcec8 · 2026-11-10 · sha256 6460cbea0e5b0d7e
experiment-analysis git:20261110.c4dcec8A
Immutable. This exact content never changes and is served at /api/v1/blob/6460cbea0e5b0d7e.
No tool to install first
claude plugin marketplace add https://markdownregistry.com/mp/a/art_laa3ykhjiubjmwgp/6460cbea0e5b0d7e39c87db0f4036755508796367f3c8ea9a8bf57a631802abf.json
Then /plugin install experiment-analysis@markdownregistry-laa3ykhjiubjmwgp in Claude Code. It installs this exact version, the one graded A here, pinned to the commit it was graded at, and leaves it there.
--- name: experiment-analysis description: 设计和审查随机实验、分流质量、指标与效果解释 experiment analysis A/B testing randomization SRM --- # 实验设计与结果分析 在讨论效果之前核对实验分配、观测单位和数据质量,以可复核的指标与不确定性支持决策。 ## 开始前 - `design`:问题、假设、分配单位、目标人群、分流、期间和预先决策规则 缺失时:缺随机设计只做有范围的描述分析 - `observations`:按正确单位的分组样本、事件、缺失和曝光记录 缺失时:缺计数或分组无法给精确效果 - `metrics`:主要指标、护栏、分母、窗口、实际意义和多重检验计划 缺失时:先定义指标,不挑最好看的结果 ## 执行 1. 阅读 [工作方法](references/professional-method.md),先确定适用条件与证据范围。 2. 沿 [专业方法](method.json) 的 `steps` 执行具体操作,再用 [完整交付模板](references/delivery-template.md) 整理当前产物;诊断问题与空字段不能充当完成。 3. 按 [专业质量规则](method.json) 中的具体输出规则选择检查方法,保存本次输入/产物定位及未观察项。 4. 对照 [作者正反例](evals/professional-cases.json) 检查常见专业错误;作者预期不算本次评测结果。 5. 把规则结果、实际产物、未决问题交回调用方;缺口仅影响相关结论。 ## 交付 - `designReview`:可检验假设和识别边界。 - `integrityReview`:分流与数据可信度检查。 - `effectEstimate`:绝对/相对效果及不确定性。 - `decision`:效果、护栏与下一步。 - `facts`:当前输入、来源、期间单位及证据缺口。 - `limitations`:未执行、未观察、方法假设和外推边界。 - `handoff`:当前产物、规则结果、证据定位与待解决事项交调用方。 ## 关键验收条件 - `designReview`:写分配/分析单位、目标效果、干预与窗口;声明是否支持因果。 拒收:观察性分组、单位不独立或跨组污染被隐藏。 - `integrityReview`:核预期分流、实际入组/曝光、缺失、重复和SRM线索,失败时限制效果结论。 拒收:分流异常未解释仍挑显著结果,或删除坏组掩盖异常。 - `effectEstimate`:按声明分母重算各组指标、差值、相对变化,区间方法与适用前提可追溯。 拒收:百分点与百分比混淆、零基线照算相对提升,或没计算声称显著。 - `decision`:综合事前主要指标、实际意义、护栏、观察期与多重比较,列可支持和不可支持决定。 拒收:只靠p值或挑次要指标忽略负面护栏,或随时窥视后当固定样本检验。 全部检查方法、证据要求和阻断标记以 [method.json](method.json) 为准。规则未执行时记录未观察;教学案例不是已经完成的专业评测。 ## 边界 不将观察相关性包装成随机实验,不在无数据时给统计显著或业务收益保证。 高风险业务变更、患者/学生干预或实质性个人权益影响需相应责任人批准实验与行动。 只读本次指定材料;实际联网、命令、发布、业务变更或外部消息依当前宿主授权。方法不接管跨组件调度、持久记忆或最终验收。合同和示例检查不证明真实宿主或行业效果;无执行证据保留 needs_probe / not_evaluated。