eval-forge SKILL.md skillA
eval-forge from this-hw/claude-code-kit is an agent skill: a SKILL.md folder an AI agent loads when a task calls for it.
mdr add this-hw/claude-code-kit/eval-forge@git:20260827.d054723Pins git:20260827.d054723 in mdr.lock. Pin the fingerprint instead.
- Audit grade
- A, 17 of 17 checks passed
- Kind
- SKILL.md skill
- Repository
- this-hw/claude-code-kit
- Path
plugins/common/skills/eval-forge/SKILL.md- Versions recorded
- 2
- Latest version
- git:20260827.d054723, committed Aug 27, 2026
- First version recorded
- Aug 23, 2026
- Size
- 6,022 bytes
- Repository stars
- 4
- License
- MIT
Turn an observed agent defect into a machine-checkable eval scenario, generated and self-validated in one step. Use after a defect lands in the feedback ledger, or before changing an agent definition that has no eval coverage. Trigger with /eval-forge.
Collected from public GitHub. Every version is saved exactly as it was and never changes. Install it at an exact version with the mdr tool, and every file is checked before it reaches your agent. The main file is checked against the SHA-256 fingerprint recorded here, and the others against the fingerprints GitHub keeps for its source commit. The automatic checks below grade the latest version, and the same checks always give the same file the same grade.
What the file says
# Eval Forge — 결함을 회귀 게이트로 굳히기 `/self-improve`의 HARD-GATE는 **eval 커버리지가 있는 대상에서만** 이중 게이트다. 실제 커버리지는 33개 에이전트 중 소수뿐이라, 대부분의 정의 파일 수정은 "사용자 승인 단일 게이트"로 퇴화한다. 스킬이 그 한계를 정직하게 고지하고는 있지만, **고지는 해결이 아니다.** 이 스킬은 커버리지를 늘리는 비용을 낮춰 그 구멍을 메운다. > **적용 범위**: 이 스킬은 `evals/` 하네스(`evals/run.py`)가 있는 프로젝트 — > 즉 **kit 레포 자체의 개발**에서 동작한다. 그 하네스가 없는 소비자 프로젝트에서는 > 스크립트가 exit 2(SKIPPED)로 정직하게 멈춘다. `/self-improve`·`/native-watch`와 같은 > kit-개발용 스킬 계열이다. ## 사용 시점 | 상황 | 왜 | | --- | --- | | ledger에 에이전트 행동 결함이 올라왔다 | 같은 결함이 다시 나면 기계가 잡게 만든다 | | eval 커버리지 없는 에이전트의 정의를 고치려 한다 | 고치기 **전에** 안전망을 깐다 (없으면 self-improve가 게이트 없이 돈다) | | 리뷰형 에이전트가 결함을 놓치는 걸 목격했다 | 거짓 음성은 eval의 1순위 표적이다 | ## 절차 ### 1. 대상과 실패 형태를 확정한다 [건너뛰기 금지] "무엇을 놓쳤는가"가 아니라 **"통과/실패를 무엇으로 판정할 것인가"**를 먼저 정한다. 판정 기준 없이 시나리오를 만들면 채점 불가능한 자산이 트리에 남는다. - 리뷰/스캔형 → 출력에 **반드시 등장할 표현**(OR 묶음)과 **등장하면 실패인 표현** - 수정/구현형 → `pytest_green` + 필요하면 `file_contains` ### 2. 픽스처를 준비한다 결함을 심은 최소 코드. 아래는 **강제 규칙**이다 (러너가 거부한다): - `conftest.py` 금지 — 채점 시 임의 코드 실행 통로 (있으면 생성기가 제거한다) - **모듈 스코프(=import 시 실행되는 위치)에서 위험 호출 금지.** 러너가 AST로 판정하며, 대상은 최상위 문장뿐 아니라 **클래스 본문·데코레이터 표현식·함수 기본 인자 값**까지다 (전부 import 시 실행된다). 함수/메서드 **본문**은 실행되지 않으므로 자유롭다 — …
Read the whole file at its exact version.
How to install
mdr add this-hw/claude-code-kit/eval-forge@sha256:977dae3bcad3027dThe line at the top of this page pins the label git:20260827.d054723, which is what most people want. This one pins the sha256 fingerprint of the contents instead, so it survives a label being moved. Either way the exact version is written to mdr.lock, and mdr install downloads and checks those contents again, so it installs them exactly or stops with an error.
[](https://markdownregistry.com/a/art_fuixlqcds6vhiczg)
6 badge image fetches in 30 days. What the badge shows.
Versions
The registry has recorded 2 versions of this file, between Aug 23, 2026 and Aug 27, 2026, about one every 4 days.
| version | committed | commit | size | audit | |
|---|---|---|---|---|---|
| git:20260827.d054723 latest | 2026-08-27 | d054723 | 6,022 B | A | view · diff |
| git:20260823.eb757c9 | 2026-08-23 | eb757c9 | 6,266 B | A | view |
Audit of the latest version
- pass: Frontmatter block present
- pass: Frontmatter declares a name
- pass: Frontmatter declares a description
- pass: Size between 200 bytes and 200 KB (6022 bytes)
- pass: No zero-width or bidi control characters
- pass: No instruction hidden inside an HTML comment
- pass: No link to an exfiltration or paste host
- pass: No credential-shaped string
- pass: No instruction to send local credentials anywhere
- pass: No text hidden with inline styles
- pass: No prompt-injection phrasing
- pass: No curl or wget piped into a shell
- pass: No recursive delete of root, home or parent
- pass: No instruction to read or print local credentials
- pass: No base64 blob over 200 characters
- pass: No link to a raw IP address
- pass: No script tag
Source
this-hw/claude-code-kit · 4 stars · license MIT · pushed 2026-09-09 · branch main
API
GET https://markdownregistry.com/api/v1/artifacts/art_fuixlqcds6vhiczg GET https://markdownregistry.com/api/v1/resolve?ref=this-hw/claude-code-kit/eval-forge GET https://markdownregistry.com/api/v1/blob/977dae3bcad3027d8e30c042832a513f44ade0d4026b47d1488e201c9d60552f
Your AI assistant does the legwork. You hear about the deals worth your word. Hand yours the standing instructions at modelranch.com and it joins the network that reads files like this one.
Guides: the SKILL.md format and its required fields · what to check before you install a skill · how to pin a skill to an exact version · where to find agent skills · keeping a team on the same skills · which agent file does what.
More from this-hw/claude-code-kit
Every file in this-hw/claude-code-kit