홍라이프 계산기계산 방법
가중치(GB) = 파라미터 수(10억 단위) × 파라미터당 바이트입니다. 토큰당 KV 캐시(바이트) = 2 × 레이어 수 × KV 헤드 수 × 헤드 차원 × 값당 바이트이며, 2는 키(K)와 값(V) 두 가지라서예요. KV 캐시 = 토큰당 크기 × 컨텍스트 길이 × 동시 요청 수입니다. 총메모리 = (가중치 + KV 캐시) × (1 + 여유분)이고, GPU 수 = 총메모리 ÷ (GPU 1개 메모리 × 사용 가능 비율)을 올림한 값이에요. 1 GB = 10⁹바이트입니다. 모델을 여러 GPU에 나누면 GPU마다 메모리가 조금 더 들고, 페이지드 KV 캐시를 쓰는 서빙 소프트웨어는 더 많은 요청을 넣을 수 있으니 첫 번째 규모 산정용으로 쓰세요.
⚠ 참고용 추정치이며 투자·재무 조언이 아닙니다.
자주 묻는 질문
레이어 수, KV 헤드, 헤드 차원은 어디서 찾나요?
모델 카드의 config.json에 있어요: num_hidden_layers, num_key_value_heads, 그리고 hidden_size ÷ num_attention_heads. 기본값은 그룹 쿼리 어텐션을 쓰는 일반적인 700억 파라미터 모델에 맞춘 값이에요.
KV 캐시는 왜 그렇게 중요한가요?
컨텍스트 토큰이 늘 때마다, 동시 사용자가 늘 때마다 커지기 때문이에요. 컨텍스트가 길고 사용자가 많으면 모델 가중치보다 더 많은 메모리가 필요할 수도 있어요.
2026년 11월 10일 확인. NVIDIA Technical Blog, “Mastering LLM Techniques: Inference Optimization”(S. Verma, N. Vaidya, 2023년 11월 17일): 가중치 ≈ 파라미터 수 × 파라미터당 바이트, 토큰당 KV 캐시 = 2 × 레이어 수 × (헤드 수 × 헤드 차원) × 바이트이며, 그룹 쿼리 어텐션 모델은 KV 헤드 수를 씁니다.