H100, H200, B200 ve B300: Hangi GPU'yu Kiralamalısınız?
NVIDIA'nın veri merkezi GPU'larını bellek, bant genişliği ve kullanım senaryolarına göre karşılaştırdık. Projeniz için doğru GPU'yu seçmenize yardımcı olacak pratik bir rehber.
Yapay zekâ projeleri için GPU seçimi, bütçeyi ve proje takvimini doğrudan etkileyen bir karar. Bu yazıda NVIDIA'nın en çok talep gören dört veri merkezi GPU'sunu, kiralama kararınızı kolaylaştıracak açıdan karşılaştırıyoruz.
Kısa karşılaştırma
| GPU | Mimari | Bellek | Bant genişliği | NVLink |
| --- | --- | --- | --- | --- |
| H100 SXM | Hopper | 80 GB HBM3 | 3,35 TB/s | 900 GB/s |
| H200 SXM | Hopper | 141 GB HBM3e | 4,8 TB/s | 900 GB/s |
| B200 | Blackwell | 180 GB HBM3e | 8 TB/s | 1,8 TB/s |
| B300 | Blackwell Ultra | 288 GB HBM3e | 8 TB/s | 1,8 TB/s |
Bellek neden bu kadar önemli?
Büyük dil modellerinde darboğaz çoğu zaman hesaplama gücü değil, bellektir. Örneğin 70 milyar parametreli bir modelin BF16 ağırlıkları yaklaşık 140 GB yer kaplar. Bu model:
- H100 üzerinde en az iki GPU'ya bölünmelidir,
- H200 üzerinde ağırlıklar tek GPU'ya sığar ancak KV önbelleğine çok az yer kalır,
- B200 ve B300 üzerinde tek GPU'da, inference için geniş KV önbelleği alanıyla çalışabilir.
Daha az GPU'ya bölünen model, daha düşük iletişim maliyeti ve daha sade bir altyapı demektir.
Hangi senaryoda hangisi?
H100: Kanıtlanmış ve yaygın
Ekosistem desteği en olgun GPU'dur. Fine-tuning, orta ölçekli eğitim ve üretim ortamında inference için güvenli bir seçimdir.
H200: Bellek yoğun inference
Hesaplama gücü H100 ile aynıdır, ancak bellek kapasitesi ve bant genişliği belirgin şekilde yüksektir. Uzun bağlamlı uygulamalarda ve 70B sınıfı modellerin sunumunda H100'den daha verimli olabilir.
B200: Yeni nesil eğitim
FP4 ve FP8 destekli ikinci nesil Transformer Engine, büyük modellerin eğitiminde ve yüksek hacimli inference'ta ciddi hız kazanımı sağlar.
B300: En üst seviye ölçek
Akıl yürütme (reasoning) modelleri, çok uzun bağlam pencereleri ve trilyon parametre ölçeğindeki modeller için tasarlandı. GPU başına 288 GB bellek, 8 GPU'lu bir sunucuda 2,3 TB'ın üzerinde bellek demektir.
Doğru seçim için üç soru
- Modeliniz kaç parametreli ve hangi hassasiyette çalışacak? Bu, minimum bellek ihtiyacınızı belirler.
- Eğitim mi, inference mı? Eğitim GPU'lar arası bağlantıya (NVLink), inference ise bellek bant genişliğine daha duyarlıdır.
- Ne kadar süreyle ihtiyacınız var? Birkaç aylık projelerde esneklik, uzun dönemli projelerde sözleşme koşulları öne çıkar.
İhtiyacınızı henüz netleştiremediyseniz endişelenmeyin: teklif formunda "Emin değilim" seçeneğini işaretleyin, iş yükünüze uygun yapılandırmayı birlikte belirleyelim.