LLM Fine-Tuning ve Inference İçin Ne Kadar GPU Belleği Gerekir?
Model boyutu, hassasiyet ve eğitim yöntemine göre GPU bellek ihtiyacını hesaplamanın pratik yolu; 7B'den 70B'ye örnek senaryolar ve GPU önerileri.
Bir dil modelini çalıştırmak ya da eğitmek için kaç GPU gerektiğini belirleyen ilk faktör bellektir. Neyse ki kaba bir hesap yapmak oldukça kolay.
Temel kural: parametre başına bayt
Model ağırlıklarının kapladığı alan, parametre sayısı ile parametre başına bayt sayısının çarpımıdır:
| Hassasiyet | Parametre başına | 7B model | 70B model |
| --- | --- | --- | --- |
| FP32 | 4 bayt | ~28 GB | ~280 GB |
| BF16 / FP16 | 2 bayt | ~14 GB | ~140 GB |
| FP8 / INT8 | 1 bayt | ~7 GB | ~70 GB |
| INT4 / FP4 | 0,5 bayt | ~3,5 GB | ~35 GB |
Bu yalnızca ağırlıkların kapladığı alandır; gerçek kullanımda ek bellek gerekir.
Inference için
Inference sırasında ağırlıklara ek olarak KV önbelleği de bellek tüketir. KV önbelleği bağlam uzunluğu, eşzamanlı istek sayısı (batch) ve modelin mimarisiyle orantılı büyür. Pratikte ağırlıkların üzerine en az %20–30 pay bırakmak, uzun bağlamlı ve yüksek eşzamanlılıklı servislerde ise çok daha fazlasını planlamak gerekir.
Fine-tuning için
Tam fine-tuning
AdamW optimizer ve karma hassasiyetle yapılan tam fine-tuning'de parametre başına yaklaşık 16 bayt gerekir (ağırlıklar, gradyanlar ve optimizer durumları); aktivasyonlar buna dahil değildir. Bu, 7B bir model için ~112 GB, 70B için ~1,1 TB demektir. Bu nedenle tam fine-tuning genellikle çoklu GPU ve ZeRO/FSDP gibi dağıtık tekniklerle yapılır.
LoRA
LoRA'da temel modelin ağırlıkları dondurulur, yalnızca küçük adaptör katmanları eğitilir. Bellek ihtiyacı kabaca BF16 ağırlıklar ile aktivasyonların toplamı kadardır.
QLoRA
QLoRA, temel modeli 4 bit'e quantize ederek belleği bir kez daha azaltır. 70B bir model bu yöntemle tek bir 80 GB GPU'da fine-tune edilebilir.
Örnek senaryolar ve GPU önerileri
- 7B–8B model inference: RTX 4090, L4 veya L40S
- 7B–8B model LoRA fine-tuning: L40S, RTX PRO 6000 veya tek H100
- 70B model inference (BF16): 2–4× H100, 1–2× H200 veya tek B200
- 70B model QLoRA: Tek H100 veya H200
- 70B model tam fine-tuning: Çok düğümlü H100/H200 kümesi ya da 8× B200 / B300 sunucu
- Yüzlerce milyar parametreli modeller: Çok düğümlü B200 / B300 kümeleri
Bu hesaplar bir başlangıç noktasıdır; batch boyutu, bağlam uzunluğu ve kullanılan framework sonuçları değiştirebilir. İş yükünüzü paylaşırsanız size en uygun yapılandırmayı birlikte belirleyebiliriz.