Eski nesil NVIDIA Tesla GPU'lar, homelab meraklıları için cazip fiyatlarla bol miktarda boş VRAM sunuyor. K80 (24 GB GDDR5) 60 dolar, P100 (16 GB) 75 dolar ve V100 (16 GB) 200 doların altında alınabiliyor. Peki bu kartlar modern iş yüklerini kaldırabilir mi? Bir meraklı, tam bir yıl süren bir projeyle 15 farklı e-atık GPU'yu kapsamlı bir benchmark testine tabi tuttu ve sonuçları paylaştı. Amaç, uygun maliyetli bir 4U GPU düğümü oluşturmak için bir malzeme listesi çıkarmaktı.
Test edilen GPU'lar arasında Kepler (K80, K40), Maxwell (M60, M40, M10), Pascal (P100, P40, P4) ve Volta (V100) mimarileri yer alıyor. Tüm kartlar ömrünü tamamlamış olsa da, uygun soğutma ve yazılımla (örneğin llama.cpp'nin eski CUDA sürümleriyle derlenmesi) modern uygulamalarda kullanılabiliyor. Özellikle eski X99 platformu (E5-2690 v4 işlemci 56 çekirdek, 40 dolar) ve Supermicro X10DRG-Q anakart (200 dolar) ile birleştirildiğinde oldukça uygun fiyatlı bir GPU sunucusu kurmak mümkün.
Benchmark paketi, 15 farklı kategoriyi kapsıyor: yapay zeka eğitimi (ResNet50), çıkarım (ResNet50, ViT), 3D render (Blender), büyük dil modelleri (llama.cpp ile Qwen2.5 1.5B, Llama 3 8B, Qwen1.5 MoE), bilimsel hesaplama (Folding@Home), kriptografi (SHA-256) ve konuşma tanıma (Whisper). Testler Docker konteynerleri içinde çalıştırılarak taşınabilirlik sağlanmış. Her GPU için önce tek çekirdek, ardından tüm çekirdekler paralel olarak test edilmiş.
Önemli Gelişmeler
Sonuçlar beklenenin aksine oldukça umut verici. Örneğin, V100 (16 GB) Llama 3 8B modelinde saniyede 40 token üretebiliyor (tek çekirdek), bu da günlük kullanım için yeterli. P100 ise aynı modelde 25 token/s civarında. Daha eski K80 ise 8 token/s ile sınırlı kalıyor. ResNet50 eğitiminde V100, P100'ün iki katı, K80'in ise 5 katı performans gösteriyor. Blender render'da ise Volta mimarisi Pascal'a göre %30 daha hızlı.
Ancak enerji verimliliği önemli bir dezavantaj. V100, P100'den %50 daha verimli olsa da, modern RTX 4090 ile karşılaştırıldığında 3 kat daha fazla enerji tüketiyor. Yine de homelab kullanımında, sunucu sürekli açık olmadığı için bu bir sorun teşkil etmiyor. Özellikle LLM'ler için prompt işleme (prefill) hızı, üretim (generation) hızından daha kritik; bu alanda V100 ve P100 iyi performans sergiliyor.
Depolama-GPU arası veri aktarım hızı (gdsio testi) de büyük modeller için önemli. V100, PCIe 3.0 x16 üzerinden 12 GB/s okuma hızına ulaşırken, K80 6 GB/s'de kalıyor. Bu fark, büyük veri kümeleriyle çalışırken belirgin hale geliyor. Çoklu GPU kurulumlarında ise NVLink desteği olmayan kartlar arasında veri paylaşımı PCIe üzerinden yapılıyor, bu da bazı iş yüklerinde darboğaz yaratabiliyor.
Pratikte, homelab kullanıcıları için en iyi seçenek V100 (16 GB) veya P100 (16 GB) olarak öne çıkıyor. K80 ise sadece düşük bütçeli ve düşük performans gereksinimli projeler için uygun. M60 ve M40 gibi Maxwell kartlar ise LLM'lerde yetersiz kalıyor (sadece 8 token/s). Folding@Home gibi bilimsel hesaplamalarda ise çift duyarlıklı performans önemli; bu alanda V100, Pascal'dan %40 daha iyi.
Gelecekte Ne Bekleniyor?
Sonuç olarak, e-atık GPU'lar modern iş yüklerinde hâlâ kullanılabilir durumda. Özellikle LLM çıkarımı, video kodlama ve bilimsel hesaplama gibi alanlarda düşük maliyetli bir giriş noktası sunuyorlar. Ancak enerji verimliliği ve güncel yazılım desteği eksiklikleri göz önünde bulundurulmalı. Homelab meraklıları, doğru soğutma ve yazılım seçimiyle bu kartları verimli bir şekilde kullanabilir.
Kaynak: esologic.com
