NVIDIA Blackwell B200 performansı H100’ü 4’e katladı!

NVIDIA, Blackwell B200 işlemcisi için birinci MLPerf 4.1 sonuçlarını yayınladı. Sonuçlar, Blackwell GPU’nun, Hopper mimarisine dayanan H100’den dört kat daha fazla performans sunduğunu gösterdi. Lakin, bu sonuçları değerlendirirken birtakım değerli noktaları göz önünde bulundurmak gerekiyor. İşte detaylar…

NVIDIA, Blackwell B200 performansı H100’den 4 kat daha hızlı

NVIDIA’nın sonuçlarına nazaran, Blackwell tabanlı B200 GPU, bir sunucu testinde saniyede 10,755 token ve çevrimdışı bir testte saniyede 11,264 token üretiyor. Bu sonuçlar, MLPerf Llama 2 70B benchmark testinde dört H100 GPU’nun sunduğu sonuçlarla benzerlik gösteriyor ve Nvidia’nın argümanını doğruluyor: Blackwell, H100’den 3,7 ila 4 kat daha süratli.

Ancak, bu performans artışının bir kısmı, Blackwell’in beşinci jenerasyon Tensor Çekirdeklerinin desteklediği FP4 (dört bitlik kayan nokta) hassasiyeti kullanmasından kaynaklanıyor. H100 ise sadece FP8 (sekiz bitlik kayan nokta) formatını destekliyor. FP4, FP8’den iki kat daha yüksek bir verimlilik sunuyor, bu da Blackwell’in performansında kıymetli bir rol oynuyor.

Bununla birlikte, NVIDIA’nın tek bir B200 GPU’yu dört H100 GPU ile karşılaştırması da dikkate kıymet. Ekseriyetle, tek GPU performansı, çoklu GPU performansından daha âlâ olur, bu nedenle bu karşılaştırmanın büsbütün adil olduğunu söylemek güç.

Ayrıca, H100 için tek GPU sonuçları MLPerf 4.1’de listelenmemiş, yalnızca B200 için sonuçlar var. Tek bir H200 GPU ise saniyede 4,488 token üretiyor, bu da B200’ün yalnızca 2,5 kat daha süratli olduğunu gösteriyor. Bellek kapasitesi ve bant genişliği de bu performans farklılıklarında büyük bir rol oynuyor.

Test edilen B200 GPU, 180 GB HBM3E bellek taşıyor, H100 SXM ise 80 GB HBM (bazı konfigürasyonlarda 96 GB’a kadar) taşıyor. H200 ise 96 GB HBM3 ve 144 GB’a kadar HBM3E bellek taşıyabiliyor.

Row 0 – Cell 0	# of GPUs	Offline	Server	per GPU Offline	per GPU Server
Nvidia B200 180GB HBM3E	1	11264	10755	11264	10755
Nvidia H100 80GB HBM3	4	10700	9522	2675	2381
Nvidia H200 141GB HBM3E	1	4488	4202	4488	4202
Nvidia H200 141GB HBM3E	8	32124	29739	4016	3717

Şu an için NVIDIA, Blackwell B200’ün performansını sırf MLPerf 4.1’de Llama 2 70B modeli üzerindeki üretken AI benchmark testinde paylaştı. NVIDIA’nın başka testlerdeki performansını şimdi paylaşmamış olması, şimdi üzerinde çalıştıkları yahut öbür faktörlerden kaynaklanabilir.

Siz ne düşünüyorsunuz? Görüşlerinizi aşağıdaki yorumlar kısmına yazabilirsiniz.