J-WorkBenchの公開JSONを検算する：7モデルの相対得点と6軸集計

J-WorkBenchのローカル相対得点「66〜87点」は、公開しているJSONから手元で検算できます。必要なのはNode.js、検算スクリプト1個、保存結果7個です。GPU、Ollama、AIのサブスクは使いません。

1. 検算スクリプトと7個のJSONを保存する

まず node --version でNode.jsが起動することを確認します。今回の検算環境はNode.js 26.5.0です。追加のnpmパッケージは不要です。

• verify-results.mjsを保存する
• 測定JSONの一覧を開く

次の8ファイルを同じ作業フォルダの中に配置します。JSONは名前を変えず、results フォルダへ保存してください。

jworkbench-check/
  verify-results.mjs
  results/
    run-claude.json
    run-codex.json
    run-gemini.json
    run-gpt-oss_20b.json
    run-qwen2.5_14b.json
    run-qwen2.5_7b.json
    run-qwen2.5-coder_14b.json

macOS / Linuxのターミナルなら、次のコマンドで取得できます。Windowsでも上のリンクからファイルを保存すれば、次節の検算コマンドは同じです。

mkdir -p jworkbench-check/results
cd jworkbench-check
curl --fail --location --output verify-results.mjs \
  https://codeagent.jp/jworkbench/verify-results.mjs
for model in claude codex gemini gpt-oss_20b qwen2.5_14b qwen2.5_7b qwen2.5-coder_14b; do
  curl --fail --location --output "results/run-${model}.json" \
    "https://codeagent.jp/jworkbench/2026-06-06/run-${model}.json" || break
done

取得時はサイトへ通信します。保存したスクリプトは中身を読めるテキストです。検算処理自体はローカルファイルの読み取りだけで、通信、モデル起動、入力ファイルの書き換えは行いません。

2. 検算を実行し、期待結果と比べる

verify-results.mjs があるフォルダで実行します。

node verify-results.mjs ./results

7モデル×30問が揃い、データの形式と保存された集計値が整合していると、次の値を含む表が表示されます。相対得点は小数を四捨五入した整数です。

クラウド行を相対100として表示する元のリーダーボードは、3モデルが同じ品質という意味ではありません。上の品質得点には98・94・89の違いがあります。

保存JSONの date はUTCの2026-06-05です。runId の時刻を日本時間にすると6月6日になるため、公開フォルダ・記事の測定日との違いはタイムゾーンによります。

3. 何を計算しているのか

相対得点：各課題のクラウド最高点と比較

1. 同じ課題のClaude・Codex・Geminiの score01 から最高点を取る。
2. ローカルの score01 をその最高点で割り、比率を0〜1.2に制限する。
3. クラウド最高点が0の課題は除外して平均を求め、100倍して四捨五入する。

ある課題でクラウド最高点が0.8、ローカルが0.6なら比率は0.75です。その課題だけなら75点になります。実際には対象課題の比率を平均します。66〜87点は仕事の66〜87%を自動化できるという意味ではありません。

品質得点：保存された採点結果の平均

モデルごとの score01 の平均を100倍して四捨五入します。回答が正しいかをもう一度判定する処理ではありません。元の機械採点やAI採点に誤りがあれば、その誤りはこの検算では直りません。

総合点：保存された6軸の加重平均

rollup.byAxis の6軸に、正確性35・信頼性20・速度15・経済性15・ローカル価値10・導入容易性5の重みを掛け、合計を100で割って四捨五入します。速度・経済性・ローカル価値は合計40%です。

経済性の95点／60点、ローカル価値の95点／0点は設計上の固定値です。費用や機密性を測った結果ではありません。このスクリプトはそれらの前提を正当化せず、保存された軸から総合点が計算どおり出るかを確認します。

4. エラーになったら確認する

不完全なデータで見かけの順位を出さないよう、欠落したモデル、重複した課題、非数値・範囲外の得点などは終了コード1で止まります。

再集計・再採点・再実行の違い

旧稿の「モデルを再実行しないため、Claudeで再採点しても追加の利用枠を消費しない」という説明は誤りでした。生成側を省略しても、採点側のモデル呼び出しは別に発生します。この検算スクリプトは再採点を行いません。

出力の中身まで確かめる

生データ一覧には各課題のプロンプト、回答、実行メトリクス、Claudeによる168ペアの採点記録があります。表の数字だけでなく、任せたい処理に近い課題の出力を読んでください。元の全ハーネスと採点環境の第三者による再実行は、現時点で確認できていません。

• J-WorkBench：相対得点と6軸の比較
• カテゴリ別の品質得点と測定の限界
• 保存出力の失敗例と負の結果
• 費用回収の計算例