E
Enhar Ormeci
Misafir
Misafir
Bu eğitimde, iki DGX Spark üzerinde DeepSeek-V4-Flash-0731 büyük dil modelini sparkrun kullanarak çalıştıracaksınız. Bu model, 284 milyar toplam ve 13 milyar aktif parametre ile çalışan bir Mixture-of-Experts modelidir. Ayrıca, çalıştırmadan önce modelin ne kadar zeki olduğunu inceleyeceğiz.
Spark, monitör ve klavye bağlayarak doğrudan bilgisayar olarak kullanılabileceği gibi, başka bir bilgisayarla uzaktan bağlanılan bir sunucu olarak da kullanılabilir. Biz bu eğitimde Spark’a uzaktan bağlanacağız ve gerekli yazılımları kurup modeli çalıştıracağız.
Çıkarım motoru olarak vLLM ve yönetim aracı olarak sparkrun kullanacağız. vLLM, modelin eğitilmiş ağırlıklarını GPU belleğine yükleyip çalıştıracak ve dışarıdan istek kabul eden bir API sunacak. sparkrun ise komut satırı üzerinden Docker konteynerlerini ve Spark’lar arasında model dağıtımını yönetecek. Bu sayede imaj senkronizasyonu, model aktarımı ve cluster yapılandırması gibi işlemler otomatik olacak. İkisi de ana Spark üzerinde, Docker konteynerleri içinde çalışacak.
Bu eğitim altı bölümden oluşur:
- Modelin Zekası: Yapay zeka modellerinin zekasını ölçen testler, bunların performans testlerinden farkı ve DeepSeek-V4-Flash-0731’in öncü modeller içindeki konumu
- Kurulum: Docker imajı indirme ve recipe hazırlama
- Çalıştırma: Modeli iki DGX Spark üzerinde sparkrun ile başlatma, izleme ve test etme
- Benchmark: Farklı eşzamanlılık seviyelerinde performans ölçüm sonuçları
- OpenCode ile Kullanma: Modeli yerel bir kodlama asistanına bağlama
- Kapatma: Servislerin durdurulması
Eğitim boyunca ana cihaza Main Spark, ikincil cihaza ise Worker Spark denileceğini unutmayın.
TAVSİYE EDİLEN ÜRÜNLER
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
❮
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
❯
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.