J-WorkBench / Raw data · 2026-06-06
生データ(全件・脚色なし)
2026-06-06 実測の一次出力を全件公開しています。採点が甘い/辛いと感じたら、ここで原文にあたってください。 リーダーボードは /tools/jworkbench/、総括は 代替率の記事。
確定知見・方法論
- FINDINGS.md — 確定知見(リーダーボード・カテゴリ別・注意点・実例の総まとめ)
- report.md — 人間用サマリ(順位・監査キュー)
- SPEC.md — 方法論の正典(採点・代替率・5軸の定義)
- claude-rubric-scores.json — Claude独立採点(168ペア)の記録
生結果 JSON(モデル別)
- run-claude.json
- run-codex.json
- run-gemini.json
- run-gpt-oss_20b.json
- run-qwen2.5_14b.json
- run-qwen2.5_7b.json
- run-qwen2.5-coder_14b.json
全トランスクリプト(課題 × モデル)
各セルがその課題でのモデルの一次出力(プロンプト+回答+メトリクス)です。
| 課題 | qwen2.5:7b | qwen2.5:14b | qwen2.5-coder:14b | gpt-oss:20b | claude | codex | gemini |
|---|---|---|---|---|---|---|---|
| shisya-rules-01社内規程RAG | md | md | md | md | md | md | md |
| shisya-rules-02社内規程RAG | md | md | md | md | md | md | md |
| shisya-rules-03社内規程RAG | md | md | md | md | md | md | md |
| shisya-rules-04社内規程RAG | md | md | md | md | md | md | md |
| shisya-rules-05社内規程RAG | md | md | md | md | md | md | md |
| shisya-rules-06社内規程RAG | md | md | md | md | md | md | md |
| keiyaku-01契約・見積照合 | md | md | md | md | md | md | md |
| keiyaku-02契約・見積照合 | md | md | md | md | md | md | md |
| keiyaku-03契約・見積照合 | md | md | md | md | md | md | md |
| keiyaku-04契約・見積照合 | md | md | md | md | md | md | md |
| keiyaku-05契約・見積照合 | md | md | md | md | md | md | md |
| gijiroku-01議事録ToDo | md | md | md | md | md | md | md |
| gijiroku-02議事録ToDo | md | md | md | md | md | md | md |
| gijiroku-03議事録ToDo | md | md | md | md | md | md | md |
| gijiroku-04議事録ToDo | md | md | md | md | md | md | md |
| gijiroku-05議事録ToDo | md | md | md | md | md | md | md |
| mail-01メール敬語 | md | md | md | md | md | md | md |
| mail-02メール敬語 | md | md | md | md | md | md | md |
| mail-03メール敬語 | md | md | md | md | md | md | md |
| mail-04メール敬語 | md | md | md | md | md | md | md |
| hyou-csv-01表/CSV | md | md | md | md | md | md | md |
| hyou-csv-02表/CSV | md | md | md | md | md | md | md |
| hyou-csv-03表/CSV | md | md | md | md | md | md | md |
| hyou-csv-04表/CSV | md | md | md | md | md | md | md |
| code-hozen-01コード保守 | md | md | md | md | md | md | md |
| code-hozen-02コード保守 | md | md | md | md | md | md | md |
| code-hozen-03コード保守 | md | md | md | md | md | md | md |
| code-hozen-04コード保守 | md | md | md | md | md | md | md |
| longctx-01長文耐性 | md | md | md | md | md | md | md |
| longctx-02長文耐性 | md | md | md | md | md | md | md |
実測対象: 7 エントリ(ローカル4+クラウド3)。再現手順は 再現記事、設計判断は ADR 0025。