모델 학습 연산량(FLOPs)·시간 추정기

모델 학습 연산량·시간 계산기 쉽게 이해하기 — 개념과 원리

대규모 신경망의 학습량은 부동소수점 연산 횟수(FLOPs)로 잽니다. 이 계산기는 밀집 트랜스포머를 학습할 때 파라미터 하나, 학습 토큰 하나당 약 6회의 연산이 든다는 널리 쓰이는 근사를 바탕으로 총 연산량을 구하고, 이를 GPU가 실제로 내는 처리량으로 나누어 학습 일수와 총 GPU 시간을 추정합니다. 비용 예산을 잡거나 클러스터 규모를 정할 때 씁니다.

계산 방법

• 총 연산량 C ≈ 6 × N × D (N은 파라미터 수, D는 학습 토큰 수)
• 실효 처리량 = GPU 최대 TFLOPS × 10¹² × GPU 수 × MFU ÷ 100 (초당 연산 횟수)
• 학습 일수 = C ÷ 실효 처리량 ÷ 86,400
• GPU 시간 = C ÷ (최대 TFLOPS × 10¹² × MFU ÷ 100) ÷ 3,600 = 일수 × 24 × GPU 수

MFU(모델 FLOPs 활용률)는 GPU 이론 최대 성능 중 실제 모델 계산에 쓰인 비율입니다.

원리

순전파에서 각 파라미터는 토큰마다 곱셈 한 번과 덧셈 한 번, 즉 약 2회의 연산에 참여합니다. 역전파는 활성값과 가중치 양쪽에 대한 기울기를 구하므로 순전파의 약 두 배인 4회 정도가 듭니다. 이를 합하면 토큰당 약 6N회가 됩니다. 캐플런 등은 2020년 스케일링 법칙 연구에서 이 근사를 사용했습니다. 문맥 길이에 따라 늘어나는 어텐션 연산은 빠져 있지만, 큰 모델의 일반적인 문맥 길이에서는 그 비중이 작습니다.

예제 풀이

1. N = 7 × 10⁹개, D = 1,000 × 10⁹ = 10¹²토큰입니다.
2. C = 6 × 7 × 10⁹ × 10¹² = 4.2 × 10²² FLOPs입니다.
3. 실효 처리량 = 989 × 10¹² × 256 × 0.40 = 1.0127 × 10¹⁷ FLOP/s입니다.
4. 시간 = 4.2 × 10²² ÷ 1.0127 × 10¹⁷ = 414,718초이고, 86,400으로 나누면 4.80일입니다.
5. GPU 시간 = 4.80일 × 24 × 256 = 29,491 GPU 시간입니다.

결과 해석

결과는 이상적인 계산 시간입니다. 실제로는 평가, 체크포인트 저장, 하드웨어 고장 후 재시작, 디버깅에 시간이 더 들므로 여유를 두어야 합니다. 가장 불확실한 입력은 MFU입니다. 이 용어를 처음 쓴 PaLM 논문은 약 46%를 보고했으며, 최적화가 덜 된 환경에서는 훨씬 낮을 수 있습니다. GPU 시간에 시간당 단가를 곱하면 비용을 어림할 수 있습니다.

흔한 실수

• BF16으로 학습하면서 희소 연산이나 FP8 기준 최대 성능을 넣는 경우
• 토큰 수를 표본 수나 에포크 수와 혼동하는 경우(D는 처리한 전체 토큰 수입니다)
• 전문가 혼합(MoE) 모델에 활성 파라미터가 아닌 전체 파라미터로 6ND를 적용하는 경우

자주 묻는 질문

왜 2가 아니라 6인가요?

파라미터·토큰당 2회는 순전파만 하는 추론의 연산량이고, 학습에는 역전파 약 4회가 더해집니다.

모델은 토큰을 얼마나 학습해야 하나요?

호프만 등(2022)은 파라미터당 약 20토큰이 연산 대비 최적이라고 보고했지만, 추론 비용을 줄이려고 훨씬 오래 학습하는 모델도 많습니다.

미세 조정에도 같은 공식을 쓰나요?

전체 미세 조정이라면 D를 미세 조정 토큰 수로 놓고 그대로 씁니다. 파라미터 효율적 방법은 더 적게 듭니다.

출처: J. Kaplan et al., Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020 · J. Hoffmann et al., Training Compute-Optimal Large Language Models, arXiv:2203.15556, 2022 · A. Chowdhery et al., PaLM: Scaling Language Modeling with Pathways, arXiv:2204.02311, 2022