E
Enhar Ormeci
Misafir
Misafir
Qwen3.8-27B, Alibaba tarafından Ağustos 2026’da yayımlanan 27 milyar parametreli bir dil modelidir. Artificial Analysis Intelligence Index’te 52 puan alarak, kendi sınıfında (40B altı açık ağırlıklı modeller) 1. sıraya yerleşmiştir.
Bu eğitimde, tek bir DGX Spark üzerinde Qwen3.8-27B-NVFP4’ü, SGLang çıkarım motoru ve DFlash2 draft modeli (spekülatif kod çözme) ile çalıştıracak ve saniyede 48 token üretim hızına ulaşacaksınız. SGLang, modelin eğitilmiş ağırlıklarını GPU belleğine yükleyip dışarıdan istek kabul eden bir API sunar. sparkrun ise Docker konteynerini yönetir ve model dosyalarının dağıtımını otomatikleştirir.
Spark, monitör ve klavye bağlayarak doğrudan bilgisayar olarak kullanılabileceği gibi, başka bir bilgisayarla uzaktan bağlanılan bir sunucu olarak da kullanılabilir. Biz bu eğitimde Spark’a uzaktan bağlanacağız ve gerekli yazılımları kurup modeli çalıştıracağız.
Bu eğitim dört bölümden oluşur:
- Kurulum: Docker imajı indirme ve recipe hazırlama
- Çalıştırma: Modeli sparkrun ile başlatma, izleme ve test etme
- Benchmark: Farklı eşzamanlılık seviyelerinde performans ölçüm sonuçları
- Kapatma: Servislerin durdurulması
Kurulum
1. Spark’a Bağlanma
Spark’a ilk kez uzaktan bağlanıyorsanız IP adresini bulmanız gerekir. Spark’a bir monitör ve klavye bağlayıp giriş yapın ve terminalden şu komutu çalıştırın:
TAVSİYE EDİLEN ÜRÜNLER
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
❮
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
❯
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.