agent-eval SKILL.md skillA

agent-eval from affaan-m/ecc is an agent skill: a SKILL.md folder an AI agent loads when a task calls for it.

mdr add affaan-m/ecc/agent-eval@git:20260517.ec9ace9

Pins git:20260517.ec9ace9 in mdr.lock. Pin the fingerprint instead.

Audit grade

A, 17 of 17 checks passed

Kind

SKILL.md skill

Repository

affaan-m/ecc

Path

docs/ja-JP/skills/agent-eval/SKILL.md

Versions recorded

1

Latest version

git:20260517.ec9ace9, committed May 17, 2026

Size

5,744 bytes

Repository stars

293,827

License

MIT

カスタムタスクでコーディングエージェント（Claude Code、Aider、Codex など）をヘッドツーヘッドで比較し、合格率、コスト、時間、一貫性のメトリクスを測定します.

Collected from public GitHub. Every version is saved exactly as it was and never changes. Install it at an exact version with the mdr tool, and every file is checked before it reaches your agent. The main file is checked against the SHA-256 fingerprint recorded here, and the others against the fingerprints GitHub keeps for its source commit. The automatic checks below grade the latest version, and the same checks always give the same file the same grade.

What the file says

# エージェント評価スキル

再現可能なタスクでコーディングエージェントをヘッドツーヘッドで比較するための軽量 CLI ツールです。「どのコーディングエージェントが最適か？」という比較はすべて感覚に頼りがちです — このツールはそれを体系化します。

## 起動タイミング

- 自分のコードベースでコーディングエージェント（Claude Code、Aider、Codex など）を比較する
- 新しいツールやモデルを採用する前にエージェントパフォーマンスを測定する
- エージェントがモデルやツールを更新した際にリグレッションチェックを実行する
- チームにデータに基づいたエージェント選択の判断を提供する

## インストール

> **注意:** agent-eval はソースを確認した後、リポジトリからインストールしてください。

## コアコンセプト

### YAML タスク定義

タスクを宣言的に定義します。各タスクは何をするか、どのファイルを操作するか、成功をどう判定するかを指定します：

```yaml
name: add-retry-logic
description: Add exponential backoff retry to the HTTP client
repo: ./my-project
files:
  - src/http_client.py
prompt: |
  Add retry logic with exponential backoff to all HTTP requests.
  Max 3 retries. Initial delay 1s, max delay 30s.
judge:
  - type: pytest
    command: pytest tests/test_http_client.py -v
  - type: grep
    pattern: "exponential_backoff|retry"
    files: src/http_client.py
commit: "abc1234"  # 再現性のために特定コミットに固定
```

### Git ワークツリー分離

各エージェント実行は独自の git ワークツリーを取得します — Docker 不要。これにより再現性の分離が提供され、エージェントが互いに干渉したりベースリポジトリを破壊したりしません。

### 収集メトリクス

| メトリクス | 測定内容 |
|--------|-----------------|
| 合格率 | エージェントはジャッジをパスするコードを生成できたか？ |
| コスト | タスクあたりの API 費用（利用可能な場合） |
| 時間 | 完了までのウォールクロック秒数 |
…

Read the whole file at its exact version.

How to install

mdr add affaan-m/ecc/agent-eval@sha256:cc87ecd15c69464b

[![mdr](https://markdownregistry.com/badge/art_cz4bxf2alau77pz2.svg)](https://markdownregistry.com/a/art_cz4bxf2alau77pz2)

Versions

The registry has recorded 1 version of this file, committed on May 17, 2026.

Audit of the latest version

Source

API

GET https://markdownregistry.com/api/v1/artifacts/art_cz4bxf2alau77pz2
GET https://markdownregistry.com/api/v1/resolve?ref=affaan-m/ecc/agent-eval
GET https://markdownregistry.com/api/v1/blob/cc87ecd15c69464b364465365ce62622cdf67495995ad9be1245f617ce72152e

Your AI assistant does the legwork. You hear about the deals worth your word. Hand yours the standing instructions at modelranch.com and it joins the network that reads files like this one.

Guides: the SKILL.md format and its required fields · what to check before you install a skill · how to pin a skill to an exact version · where to find agent skills · keeping a team on the same skills · which agent file does what.

More from affaan-m/ecc

Every file in affaan-m/ecc

Other files named agent-eval

Browse by kind, by grade A, or by owner.