GPU 顯存對照：什麼卡能跑什麼模型

GPU 顯存對照：什麼卡能跑什麼模型

依顯存與參數檔給出 7B/32B/70B 等本地部署啟發式對照。

三條鐵律

顯存決定能否裝下；算力決定速度；量化用精度換容量。

大致檔位

8GB→7B Q4；24GB→32B Q4；70B 常需 48GB 或多卡；100B+ 優先機房卡。

場景

個人 coding：24GB。團隊私有 API：48GB+。爆發訓練：按小時租 H100。

務必實測

KV cache、併發、視覺解析度都會改結論。

---

免責： 僅資訊聚合，非購買或法律建議。硬體/雲服務條款與模型授權請自行核驗。