Benchmark · Snapshot 2026-06-06
J-WorkBench：保存結果と測定の限界
2026-06-06 に測定した、日本語の人工課題30問・7カテゴリの結果です。 ローカル4モデル（RTX 3090 24GB / Ollama）とクラウドCLI3種類を比較しています。 現在の製品の性能を再測定したものではありません。
ローカルのクラウド比の相対得点は66〜87点でした。 この値は実業務の66〜87%を任せられるという意味ではありません。 品質、速度、評価上の仮定を含む総合点を分けて読んでください。
J-WorkBench リーダーボード
日本語の実務（社内規程RAG・契約照合・議事録・メール敬語・表/CSV・コード保守・長文耐性）で、 ローカル4モデルとクラウドCLI3種類を比較した人工課題の記録です。実業務の自動化率を測ったものではありません。 データ確定日: 2026-06-06
クラウド比の相対得点
課題ごとのクラウド最良点を100とする比率の平均6軸スコア（重み付き合計100点満点）
各軸0–100 / 重みは軸名に併記- 実務正確性×35 98
- 信頼性×20 99
- 速度UX×15 76
- 経済性×15 60
- ローカル価値×10 0
- 導入容易性×5 95
- 実務正確性×35 94
- 信頼性×20 98
- 速度UX×15 43
- 経済性×15 60
- ローカル価値×10 0
- 導入容易性×5 92
- 実務正確性×35 89
- 信頼性×20 97
- 速度UX×15 50
- 経済性×15 60
- ローカル価値×10 0
- 導入容易性×5 95
- 実務正確性×35 86
- 信頼性×20 96
- 速度UX×15 83
- 経済性×15 95
- ローカル価値×10 95
- 導入容易性×5 70
- 実務正確性×35 85
- 信頼性×20 95
- 速度UX×15 98
- 経済性×15 95
- ローカル価値×10 95
- 導入容易性×5 70
- 実務正確性×35 66
- 信頼性×20 89
- 速度UX×15 100
- 経済性×15 95
- ローカル価値×10 95
- 導入容易性×5 70
- 実務正確性×35 65
- 信頼性×20 88
- 速度UX×15 99
- 経済性×15 95
- ローカル価値×10 95
- 導入容易性×5 68
カテゴリ別ヒートマップ
行=モデル / 列=タスク / 濃いほど高スコア（0–100）| モデル ＼ タスク | 社内規程RAG | 契約・見積照合 | 議事録ToDo | メール敬語 | 表/CSV | コード保守 | 長文耐性 |
|---|---|---|---|---|---|---|---|
| Codex (ChatGPT) | 99 | 99 | 91 | 100 | 98 | 100 | 100 |
| Claude (Claude Code / Max) | 82 | 100 | 91 | 93 | 99 | 100 | 100 |
| Gemini (Gemini CLI) | 95 | 97 | 91 | 93 | 98 | 48 | 100 |
| gpt-oss:20b | 71 | 79 | 86 | 100 | 98 | 83 | 100 |
| qwen2.5:14b | 77 | 81 | 92 | 100 | 56 | 100 | 100 |
| qwen2.5-coder:14b | 75 | 47 | 86 | 90 | 51 | 28 | 100 |
| qwen2.5:7b | 39 | 57 | 88 | 85 | 31 | 83 | 100 |
相対得点の計算方法
課題ごとにクラウド3種類の保存スコアの最大値を取り、ローカルのスコアを割ります。 比率は0〜1.2に制限し、クラウド最高点が0の課題は除外して平均を100倍し、四捨五入します。 クラウド行の100は固定の比較基準です。クラウド同士の品質差は「実務正確性」で確認できます。
この採点に限ると、qwen2.5:14bは相対86点・品質85点・総合91点、Codexは品質98点・総合79点です。 総合の大小を品質の優劣と読み替えることはできません。
6軸の重みと、実測した範囲
- 実務正確性：35%
- 信頼性：20%
- 速度UX：15%
- 経済性：15%
- ローカル価値：10%
- 導入容易性：5%
実務正確性は課題の採点結果、信頼性は合否・実行エラー・形式・反復の集計、速度は実行時間等の記録から算出しています。 経済性はローカル95点・クラウド60点、ローカル価値は95点・0点を割り当てた設計上の仮定です。 導入容易性も実行エラー率と固定の基準点から算出しています。費用、機密性、導入作業時間そのものを実測した点数ではありません。
以前の表示にあった「秘密文書適性」「普通のPC適性」等の称号は、実測による適性の証明と誤解されるため表示を終了しました。 保存済みの生データは変更していません。
結果を自分の用途へ当てはめる前に
- 社内規程・契約の条件分岐では、今回のローカル群の得点が低くなりました。出力例と誤りは失敗例の記事で確認できます。
- 長文課題は全モデル満点でしたが、問題文に答えを明示しすぎた制約があります。長文全般の能力を示す結果とは扱えません。
- ルーブリックの168ペアはClaudeを別実行して再採点しています。AI採点であり、第三者や専門家の監査ではありません。
- 実業務の自動化率、人による確認時間、最新モデルの性能は今回測っていません。
保存データを手元で検算する
JSONの取得・検算スクリプト・期待結果を用意しています。 Node.jsだけで動き、GPU、Ollama、サブスクCLIは不要です。検算時にモデルの利用枠を消費しません。
モデルに新しい回答を生成させる再実行や、回答を別のAIに評価させる再採点とは別の処理です。 クラウドAIでの再採点には、生成モデルを再実行しなくても採点側の利用枠・料金が発生し得ます。
2026年10月13日訂正：相対得点の名称、6軸の数え方、重みの合計、公開・再現できる範囲を修正しました。元の測定値は据え置いています。 保存文書の「代替率」「5軸」等は当時の表記として残っているため、現在の説明と合わせて読んでください。