Local LLM · Memory
ローカルLLMのメモリを計算する
モデルの重み、KVキャッシュ、実行時の余白を別々に見積もります。総パラメータ数が109BのMoEは、アクティブが17Bでも、全重みをGPUへ載せるなら109B分を計算します。
必要メモリを概算する
総パラメータ数を使います。MoEのアクティブ数だけでは、保持する全重みのメモリを見積もれません。ビット数は平均のbit/weightを入力してください。
入力はブラウザー内の計算だけに使います。モデルのダウンロード・外部送信は行いません。初期値のKVと余白は説明用の仮定です。実ファイル、エンジン、コンテキスト長によって必要量は変わります。
計算式と109Bの例
重みのGiB ≈ 総パラメータ数 × bit/weight ÷ 8 ÷ 2の30乗。109B × 4bitなら約50.76 GiBです。アクティブ17Bだけを使った約7.92 GiBでは、非アクティブなエキスパートの保持分を落としてしまいます。4bitという名前でも、実際の形式にはスケールや別精度の重みがあるため、ダウンロードする実ファイルのサイズを確認してください。
KVキャッシュ3 GiBとその他の余白2 GiBを仮に足すと約55.76 GiB。32 GiBに全量を置く計算にはなりません。CPUへのオフロードで起動できるか、どの速度で動くかは、別の構成確認と実測が必要です。
入力する値を調べる
- モデルカードの総パラメータ数を確認します。MoEではactiveとtotalを混同しません。
- 量子化ファイルの実サイズと平均bit/weightを確認します。重みを複数ファイルに分ける形式では合計します。
- 予定するコンテキスト長でKVキャッシュを見積もります。初期値3 GiBは共通の実測値ではありません。
- OS・表示・推論エンジン・他アプリが使う分を余白に含めます。利用可能量には同じ単位のGiBを入力します。
- 実際にロードした後、使用量と速度を測り、入力値を更新します。
この計算で分からないこと
モデルの日本語品質、コード能力、推論ソフトへの対応、ライセンス、速度は計算していません。ハードウェアの購入や業務投入は、この値だけで決めないでください。ユニファイドメモリでもOSと共有しているため、搭載容量すべてを重みに割り当てられるとは限りません。
実ファイルと測定記録を読む
更新について
2026年10月17日、モデルランキング方式から、入力条件を明示したメモリ概算へ変更しました。以前の未検証の順位や搭載判定は引き継いでいません。入力条件と計算結果を手元の記録へ残し、実測と比較してください。