GPU 显存とモデル対応表

GPU 显存とモデル対応

7B/32B/70B/MoE と 4090/A100/H100/Apple の実務対応表。

三原則

显存=載るかどうか、演算=速さ、量子化=品質とメモリのトレードオフ。

目安

8GB→7B Q4、24GB→32B Q4、70B は 48GB または複数 GPU、100B+ はデータセンター。

用途別

個人 coding は 24GB。社内 API は 48GB+。短時間訓練は H100 時間賃。

再測定

KV cache・並列・解像度で変わる。自分の prompt で測る。

---

免責： 情報集約のみ。購入・法律助言ではありません。ハードウェア/クラウド規約とモデルライセンスは自己確認。