하드웨어入门约 12 分钟
GPU VRAM vs 모델 대응
7B/32B/70B/MoE와 4060~H100 실무 대응표.
GPU VRAM vs 모델
7B/32B/70B/MoE와 4090·A100·H100·Apple 실무 대응표.
세 원칙
VRAM=적재 가능 여부, 연산=속도, 양자화=품질·메모리 트레이드오프.
대략
8GB→7B Q4, 24GB→32B Q4, 70B는 48GB 또는 멀티 GPU, 100B+는 데이터센터.
용도
개인 코딩 24GB. 사내 API 48GB+. 단발 학습은 H100 시간제.
재측정
KV 캐시·동시성·해상도에 따라 달라짐. 본인 프롬프트로 측정.
---
면책: 정보 집약만. 구매·법률 자문 아님. 하드웨어/클라우드 약관과 모델 라이선스는 직접 확인.
适用于 GrokCode 倍率榜。信息仅供参考，不构成购买、投资或法律意见。