B
blog
Misafir
Misafir
Otonom yapay zeka ajanları, artık işletmelerin günlük operasyonlarında giderek daha fazla rol üstleniyor. Lojistik filolarının en verimli şekilde yönlendirilmesinden müşteri destek taleplerinin önceliklendirilmesine, kod üretiminden çok adımlı iş akışlarının yönetilmesine kadar pek çok alanda yapay zeka ajanları aktif olarak kullanılıyor.
Ancak asıl soru şu: Genel amaçlı bir yapay zeka modelini, belirli bir iş ihtiyacında gerçekten başarılı olacak şekilde nasıl dönüştürebilirsiniz?
Yanıt, ajanı doğru yeteneklerle donatmaktan geçiyor. Başka bir deyişle, yapay zeka ajanını görevinize, verilerinize ve iş süreçlerinize uygun biçimde özelleştirmeniz gerekiyor.
Bu yazıda, yapay zeka ajanlarını özelleştirmek için kullanılan dokuz temel tekniği ele alacak; hangi yöntemin hangi durumda daha etkili olduğunu örneklerle açıklayacağız.
Yapay Zeka Ajanını Özelleştirmek Neden Gerekir?
Temel yapay zeka modelleri, büyük veri setleri üzerinde eğitildikleri için farklı alanlarda güçlü dil anlama, yorumlama ve akıl yürütme becerilerine sahiptir. Kullanıcı talimatlarını anlayabilir, metinleri analiz edebilir ve çok çeşitli görevleri yerine getirebilirler.
Ancak gerçek iş dünyasında süreçler çoğu zaman genel bilgilerle sınırlı değildir. Bir görevin doğru şekilde tamamlanması için şirkete özel dokümanlara, sınırlı erişime sahip verilere, sektöre özgü kurallara ya da sürekli güncellenen bilgilere ihtiyaç duyulabilir. Bu tür bilgiler, temel modele doğrudan yerleşik olarak gelmez.
Bu nedenle bir yapay zekâ ajanını özelleştirmek, onu yalnızca daha “bilgili” hâle getirmekten ibaret değildir. Aynı zamanda ajanın belirli kurallar çerçevesinde nasıl düşüneceğini, hangi araçları ne zaman kullanacağını, yanıtlarını nasıl yapılandıracağını ve alanına özgü iş akışlarını ne kadar güvenilir biçimde yürüteceğini tasarlamak anlamına gelir.
Kısacası özelleştirme, genel amaçlı bir modeli belirli bir iş bağlamında tutarlı, güvenilir ve uygulanabilir sonuçlar üretebilen bir ajana dönüştürür.
Ajan Özelleştirme İçin Hangi Teknikler Kullanılır?
Ajan özelleştirme, basit prompt düzenlemelerinden pekiştirmeli öğrenme gibi daha gelişmiş yöntemlere kadar uzanan geniş bir teknik yelpazesine sahiptir. Her yöntemin maliyet, uygulama karmaşıklığı ve kazandırdığı yetenekler açısından farklı avantajları ve sınırlamaları vardır.
Bu nedenle doğru yöntemi seçmek için önce şu soruya yanıt vermek gerekir: Ajanın asıl ihtiyacı daha güncel ve doğru bilgiye erişmek mi, daha net talimatlarla yönlendirilmek mi, yoksa belirli durumlarda daha güvenilir ve tutarlı davranmak mı?
1. Prompt Engineering ve Sistem Promptları
Prompt engineering, ajana verilen talimatların çıkarım aşamasında düzenlenmesi anlamına gelir. En erişilebilir özelleştirme yöntemlerinden biridir ve çoğu ajan projesinde ilk denenen tekniktir.
Bu yöntemde amaç, modelin mevcut yeteneklerini daha etkili şekilde yönlendirmektir. Ajanın rolü, kullanabileceği araçlar, uyması gereken sınırlar, çıktı formatı ve takip edeceği işlem adımları sistem promptu içinde tanımlanır.
Daha klasik ajan mimarilerinde sistem promptları genellikle insanlar tarafından elle hazırlanır ve güncellenir. Daha gelişmiş, kendi kendini iyileştiren ajanlarda ise bu talimatlar zamanla ajanın deneyimlerinden öğrenerek güncellenebilir. Böylece ajan, belleğini, önceki hatalarını ve başarılı sonuçlarını dikkate alarak davranışlarını uyarlayabilir.
1-a Nasıl Çalışır?
Bu yaklaşımda, ajanın görevini nasıl yerine getirmesi gerektiğini açıklayan bir sistem promptu hazırlanır. Model, kendi temel yeteneklerini kullanarak bu talimatları takip eder ve yanıtlarını buna göre üretir.
Örneğin bir CLI asistanı için sistem promptu şöyle olabilir:
Bu tür bir talimat, ajanın hem rolünü hem de çıktı formatını netleştirir. Böylece modelden beklenen davranış daha açık hâle gelir.
1-b Ne Zaman Kullanılır?
Prompt engineering özellikle ajanın davranışını hızlıca denemek, test etmek ve iyileştirmek istediğiniz durumlarda uygundur. Görev doğal dille açıkça tarif edilebiliyorsa ve henüz daha maliyetli özelleştirme yöntemlerine geçmeden önce bir prototip geliştirmek istiyorsanız, bu yöntem güçlü bir başlangıç noktası sunar.
Ayrıca ajanınızın genel davranış çerçevesini belirlemek, yanıt tonunu ayarlamak, belirli çıktı formatlarını tarif etmek ya da araç kullanım kurallarını tanımlamak için de prompt engineering etkili bir yöntemdir.
1-c Sınırlamaları Nelerdir?
Prompt engineering, uygulanması kolay olsa da her durumda yeterli değildir. Talimatlar uzadıkça modelin bu talimatları tutarlı şekilde takip etmesi zorlaşabilir. Özellikle çok adımlı akıl yürütme, karmaşık araç kullanımı veya belirli bir çıktı yapısına uyma gerektiren senaryolarda promptlar kırılgan hâle gelebilir.
Ayrıca bu yöntem modelin temel yeteneklerini genişletmez; yalnızca mevcut yetenekleri daha iyi yönlendirmeye çalışır. Model belirli bir alan bilgisinden, özel veriden ya da karmaşık bir görev becerisinden yoksunsa, yalnızca prompt yazarak bu eksikleri tamamen gidermek mümkün olmayabilir.
Bir diğer önemli nokta da model değişiklikleridir. Ajanı çalıştıran temel model değiştiğinde, daha önce iyi çalışan promptların yeniden test edilmesi ve gerekirse güncellenmesi gerekir.
2. Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation, yani RAG, temel modellerin bilgi sınırlarını aşmak için kullanılan en yaygın yöntemlerden biridir. Bu yaklaşımda ajan, yanıt üretmeden önce dış bilgi kaynaklarından güncel, ilgili ve göreve uygun içerikleri getirir.
Bu bilgiler modelin yanıt üretirken kullanabileceği bağlama eklenir. Böylece ajan yalnızca eğitim sırasında öğrendiği genel bilgilere bağlı kalmaz; güncel kaynaklardan, kuruma özel belgelerden, ürün dokümanlarından, şirket prosedürlerinden ve teknik bilgi tabanlarından yararlanarak daha doğru yanıtlar üretebilir.
RAG özellikle halüsinasyonları azaltmak, yanıtları güvenilir kaynaklara dayandırmak ve sık güncellenen bilgi tabanlarıyla çalışmak için etkili bir özelleştirme yöntemidir.
2-a Nasıl Çalışır?
Kullanıcı bir soru sorduğunda sistem, önce ilgili bilgiyi bulmaya çalışır. Bunun için genellikle bir vektör veritabanı, belge deposu, arama motoru ya da kurumsal bilgi tabanı kullanılır.
Sistem, kullanıcı sorusuyla en ilişkili içerikleri getirir ve bu içerikleri soru ile birlikte modele gönderir. Model de yanıtını kendi genel bilgisinden ziyade, kendisine sağlanan bu kaynaklara dayanarak oluşturur.
Basit bir örnekle, bir müşteri destek ajanı ürün dokümantasyonundan ilgili bölümü getirip kullanıcının sorusuna bu bilgi üzerinden yanıt verebilir. Böylece yanıt hem daha güncel hem de kurumun gerçek dokümanlarıyla daha uyumlu olur.
2-b Ne Zaman Kullanılır?
RAG, ajanın güncel, kuruma özel veya belirli bir alana ait bilgilere ihtiyaç duyduğu durumlarda tercih edilir. Özellikle yanıtların güvenilir kaynaklara dayanması, gerektiğinde doğrulanabilir olması ve modelin eğitim verilerinde yer almayan bilgilerle çalışabilmesi isteniyorsa güçlü bir çözüm sunar.
Bilgi tabanının sık değiştiği durumlarda da RAG oldukça avantajlıdır. Çünkü her güncelleme için modeli yeniden eğitmek yerine, dış bilgi kaynağını güncellemek yeterli olur. Bu nedenle ürün dokümantasyonu, şirket içi prosedürler, teknik destek içerikleri, hukuk ve uyum belgeleri gibi sürekli değişebilen alanlarda sıkça kullanılır.
3-b Sınırlamaları Nelerdir?
RAG, güçlü bir yöntem olsa da her sorunu tek başına çözmez. Öncelikle ek bilgi getirme süreci, sisteme gecikme ekleyebilir. Ayrıca doğru sonuca ulaşmak, getirilen belgelerin kalitesine ve arama sisteminin ne kadar isabetli çalıştığına bağlıdır.
Bir diğer sınırlama bağlam penceresidir (context lenght). Modelin aynı anda kullanabileceği bilgi miktarı sınırsız değildir. Bu nedenle getirilen içeriklerin doğru seçilmesi, özetlenmesi ve modele uygun şekilde sunulması önemlidir.
RAG ayrıca modele yeni bir akıl yürütme becerisi kazandırmaz; yalnızca modelin üzerinde düşüneceği daha doğru ve güncel bilgileri sağlar. Eğer görev, özel bir muhakeme stratejisi veya karmaşık karar verme becerisi gerektiriyorsa, RAG’in başka özelleştirme teknikleriyle birlikte kullanılması gerekebilir.
Günümüzde klasik RAG yaklaşımı giderek “agentic RAG” yapısına evrilmektedir. Bu yapıda ajan yalnızca getirilen belgeleri kullanmakla kalmaz; hangi kaynaklara bakacağına, sorguyu nasıl yeniden yazacağına, ek bilgiye ihtiyaç duyup duymadığına ve yanıt için yeterli kanıta ulaşıp ulaşmadığına da kendisi karar verebilir.
3. Araç Kullanımı ve Yetenek Kazandırma ( Agent tool and skill injection)
Araç kullanımı ve yetenek kazandırma, bir yapay zekâ ajanının kapasitesini genişletmenin en pratik yollarından biridir. Bu yaklaşımda amaç, modelin temel yapısını değiştirmeden ajana belirli görevleri yerine getirebilmesi için yeni imkânlar sunmaktır.
Bu yöntemde iki temel bileşen öne çıkar: araçlar ve yetenekler.
Araçlar, ajanın dış sistemlerle etkileşime geçmesini sağlayan çağrılabilir fonksiyonlardır. Web araması yapmak, dosya okumak veya yazmak, bir API’ye istek göndermek ya da komut satırında işlem çalıştırmak bu araçlara örnek olarak verilebilir.
Yetenekler ise belirli bir alan, görev veya iş akışı için hazırlanmış özel talimatlardır. Bu talimatlar ajana, belirli bir işi hangi adımlarla, hangi kurallara uyarak ve nasıl bir çıktı üreterek tamamlaması gerektiğini anlatır.
Bu modüler yapı sayesinde, genel amaçlı bir modelin ağırlıklarını değiştirmeden onu belirli alanlarda daha kullanışlı, esnek ve üretken hâle getirmek mümkün olur.
3-a Nasıl Çalışır?
Bu yaklaşımda araçlar ve yetenek tanımları, ajanın sistem promptuna ya da çalışma bağlamına eklenir. Ajan, görevi yerine getirirken ihtiyaç duyduğunda ilgili aracı çağırır veya tanımlanmış yetenek yönergelerine göre hareket eder.
Örneğin olay inceleme süreci için hazırlanmış bir yetenek klasörü şu yapıda olabilir:
Copy to Clipboard
skills/ incident-triage/ SKILL.md README.md scripts/ collect_logs.sh parse_logs.py summarize_findings.py templates/ triage_report.md examples/ sample_incident.json
Bu yapı, belirli bir servis için logların toplanmasını, hataların analiz edilmesini ve kısa bir olay inceleme raporu hazırlanmasını sağlayabilir. Ajan, ilgili talimatları ve yardımcı dosyaları kullanarak süreci daha standart ve tekrar edilebilir şekilde yürütebilir.
3-b Ne Zaman Kullanılır?
Bu yöntem, ajanın yapabileceklerini genişletmek istediğiniz durumlarda oldukça yararlıdır. Özellikle ajanın harici yazılımlar, API’ler, veri tabanları veya üçüncü taraf sistemlerle bağlantı kurması gerekiyorsa güçlü bir çözüm sunar.
Ayrıca belirli görevler için modüler ve tekrar kullanılabilir yetenekler tanımlamak istediğinizde de tercih edilebilir. Örneğin destek taleplerini sınıflandırma, rapor oluşturma, log analizi, veri dönüştürme veya belirli bir iş akışını adım adım yürütme gibi görevlerde bu yaklaşım ajanın daha tutarlı çalışmasına yardımcı olur.
3-c Sınırlamaları Nelerdir?
Bu yöntemin etkili olabilmesi için modelin araç çağırma becerisine sahip olması gerekir. Basit araç kullanımı çoğu senaryoda yeterli olabilir; ancak karmaşık araç zincirleri, çok adımlı işlem akışları veya hata yönetimi gerektiren süreçlerde daha yüksek güvenilirlik için ek testler, doğrulama adımları ya da ince ayar gerekebilir.
Bir diğer sınırlama bağlam penceresidir. Yetenek tanımları, açıklamalar, örnekler ve araç şemaları modelin bağlamında yer kaplar. Çok sayıda yetenek veya uzun talimat kullanıldığında, modelin göreve odaklanması zorlaşabilir ya da kullanılabilir bağlam alanı azalabilir.
Bu nedenle araç ve yetenek tanımları mümkün olduğunca açık, kısa, modüler ve göreve odaklı tasarlanmalıdır.
4. Supervised Fine-Tuning
Supervised Fine-Tuning, yani denetimli ince ayar, önceden eğitilmiş bir modelin davranışını etiketli örnekler üzerinden yeniden şekillendirme yöntemidir.
Önceki tekniklerde ajan çoğunlukla çıkarım aşamasında yönlendirilir. Yani modele verilen promptlar, bağlam bilgileri, araçlar veya yetenek tanımları aracılığıyla davranış etkilenir. SFT’de ise süreç eğitim aşamasına taşınır ve modelin ağırlıkları belirli örnekler üzerinden güncellenir.
Başka bir deyişle model, kendisine gösterilen örneklerden belirli bir davranışı öğrenir. Bu sayede belirli çıktı formatlarına uyma, belirli bir üslubu takip etme, araç çağrılarını doğru yapılandırma veya tekrar eden görevlerde daha tutarlı sonuçlar üretme becerisi geliştirilebilir.
4-a Nasıl Çalışır?
SFT için önce etiketli bir veri seti hazırlanır. Bu veri setindeki her örnek genellikle bir kullanıcı girdisi ve bu girdiye karşılık verilmesi beklenen ideal çıktıdan oluşur.
Örneğin bir ajanın kullanıcı isteklerini yapılandırılmış araç çağrılarına dönüştürmesi isteniyorsa, eğitim verisinde doğal dilde yazılmış kullanıcı talepleri ve bunlara karşılık gelen doğru JSON çıktıları yer alabilir.
Model, bu örnekler üzerinde eğitilir ve zamanla gösterilen davranışı taklit etmeyi öğrenir. Böylece benzer girdilerle karşılaştığında, eğitim sırasında gördüğü örüntülere uygun yanıtlar üretme olasılığı artar.
Veri üretiminin zor veya maliyetli olduğu düşük kaynaklı alanlarda sentetik veri de bu süreci hızlandırabilir. Ekipler her örneği tek tek elle yazmak yerine, önce bir veri şeması ve kalite ölçütleri tanımlayabilir; ardından büyük dil modellerinden yararlanarak yüksek kaliteli eğitim çiftleri oluşturabilir.
4-b Ne Zaman Kullanılır?
SFT, görev iyi tanımlanmışsa ve elinizde bu göreve ait örnek girdiler ile ideal çıktılar varsa tercih edilebilir. Özellikle ajanın belirli bir davranışı tekrar tekrar ve tutarlı biçimde sergilemesi gereken durumlarda etkili bir yöntemdir.
Modelin belirli çıktı yapılarını güvenilir şekilde üretmesi gerekiyorsa SFT güçlü bir seçenek sunar. Örneğin JSON şemaları, araç çağrıları, sınıflandırma çıktıları, rapor formatları veya yapılandırılmış veri üretimi gibi görevlerde denetimli ince ayar oldukça faydalı olabilir.
Etiketli verinin sınırlı olduğu alanlarda da SFT kullanılabilir. Bu durumda kaliteli sentetik veri üretimi, eğitim veri setini genişletmek ve modelin farklı senaryoları görmesini sağlamak için önemli bir destek sağlar.
4-c Sınırlamaları Nelerdir?
SFT’nin başarısı büyük ölçüde eğitim verisinin kalitesine bağlıdır. Model, kendisine gösterilen iyi örnekleri de hatalı veya zayıf örnekleri de taklit eder. Bu nedenle veri setinin dikkatli hazırlanması, tutarlılık açısından kontrol edilmesi ve mümkün olduğunca farklı senaryoları kapsaması gerekir.
Veri seti yeterince çeşitli değilse model belirli örüntülere fazla uyum sağlayabilir. Bu durum, modelin eğitim verisine benzer örneklerde iyi performans gösterirken yeni veya beklenmedik durumlarda zayıf kalmasına yol açabilir.
Ayrıca SFT, prompt engineering veya RAG gibi çıkarım aşamasında uygulanan yöntemlere göre daha fazla teknik hazırlık ve hesaplama kaynağı gerektirir. Eğitim sürecinin planlanması, veri kalitesinin ölçülmesi ve sonuçların düzenli olarak test edilmesi gerekir.
Buna rağmen SFT, eğitim tabanlı ajan özelleştirme sürecinde güçlü bir başlangıç noktasıdır. Modele temel bir davranış kazandırır ve daha ileri uyumlama yöntemleri için sağlam bir zemin oluşturur.
5. Parametre Verimli İnce Ayar (Parameter Efficient Fine Tuning)
Büyük bir modeli baştan sona ince ayardan geçirmek ciddi hesaplama gücü ve GPU kaynağı gerektirir. Parametre verimli ince ayar yöntemleri, bu maliyeti azaltmak için geliştirilmiştir.
LoRA ve QLoRA gibi yaklaşımlar, modelin büyük bölümünü sabit tutar ve yalnızca küçük bir parametre grubunu günceller. Böylece tam kapsamlı bir eğitim sürecine ihtiyaç duymadan, modeli belirli görevler veya alanlar için özelleştirmek mümkün olur.
Bu yöntemler özellikle maliyet, hız ve esneklik açısından avantaj sağlar. Aynı temel model korunurken, farklı görevler, departmanlar, sektörler veya müşteriler için ayrı adaptörler kullanılabilir.
5-a Nasıl Çalışır?
LoRA, modelin bazı katmanlarına küçük ve eğitilebilir ek bileşenler yerleştirir. Büyük modelin tüm parametrelerini değiştirmek yerine, yalnızca bu ek bileşenler eğitilir.
Bu sayede temel model korunur; özelleştirme ise daha küçük ve taşınabilir adaptörler üzerinden yapılır. Örneğin aynı temel model üzerine müşteri destek, finansal analiz veya yazılım geliştirme gibi farklı görevler için ayrı adaptörler eklenebilir.
QLoRA ise bu yaklaşımı daha da erişilebilir hâle getirir. Temel modeli daha düşük hassasiyette temsil ederek GPU belleği ihtiyacını azaltır. Böylece normalde yüksek donanım maliyeti gerektiren modeller üzerinde daha verimli şekilde ince ayar yapılabilir.
Kısacası LoRA ve QLoRA, büyük modelleri tamamen yeniden eğitmeden özelleştirmenin daha ekonomik ve esnek yollarını sunar.
5-b Ne Zaman Kullanılır?
Parametre verimli ince ayar yöntemleri, özellikle GPU kaynaklarının sınırlı olduğu durumlarda tercih edilir. Büyük bir modeli tamamen yeniden eğitmek yerine, yalnızca küçük adaptörleri eğitmek maliyeti ve donanım ihtiyacını önemli ölçüde azaltır.
Aynı temel modelin birden fazla özel sürümünü yönetmek istediğinizde de bu yaklaşım oldukça kullanışlıdır. Örneğin farklı müşteriler, departmanlar, diller veya görevler için ayrı adaptörler oluşturabilir; temel modeli değiştirmeden her senaryoya özel davranışlar kazandırabilirsiniz.
Ayrıca hızlı eğitim döngüleri ve sık denemeler yapmak istediğiniz projelerde de avantaj sağlar. Daha düşük maliyetli eğitim süreçleri sayesinde farklı veri setleri, ayarlar ve görev tanımları daha hızlı test edilebilir.
5-c Sınırlamaları Nelerdir?
Parametre verimli ince ayar yöntemleri her ne kadar pratik ve ekonomik olsa da, modelin yalnızca küçük bir bölümünü güncellediği için belirli bir etki sınırına sahiptir. Bu nedenle bazı görevlerde tam ince ayar kadar kapsamlı bir davranış değişikliği sağlamayabilir.
Özellikle modelin temel bilgi eksikliği büyükse, görev çok farklı bir uzmanlık gerektiriyorsa veya köklü bir davranış dönüşümü hedefleniyorsa, yalnızca adaptör tabanlı ince ayar yeterli olmayabilir.
Bu yöntem en iyi sonucu, temel modelin zaten göreve yakın bir kapasiteye sahip olduğu ve yalnızca belirli bir alana, formata ya da kullanım senaryosuna uyarlanması gerektiği durumlarda verir.
6. Doğrudan tercih optimizasyonu (Direct Preference Optimization)
Doğrudan tercih optimizasyonu, modelin yalnızca ideal örnekleri taklit etmesi yerine tercih karşılaştırmalarından öğrenmesini sağlayan bir uyumlama yöntemidir.
SFT’de model, kendisine verilen doğru örnekleri taklit etmeye çalışır. DPO’da ise aynı kullanıcı girdisi için iki farklı yanıt karşılaştırılır: tercih edilen yanıt ve tercih edilmeyen yanıt. Model, zamanla tercih edilen yanıtları üretme olasılığını artıracak şekilde eğitilir.
Bu yaklaşım, özellikle modelin daha iyi, daha güvenli, daha tutarlı veya kullanıcı beklentilerine daha uygun yanıtlar üretmesini sağlamak için kullanılır. Ayrıca RLHF gibi yöntemlerde ihtiyaç duyulan ayrı bir ödül modeli eğitme adımını gerektirmediği için daha pratik bir seçenek olarak öne çıkar.
6-a Nasıl Çalışır?
DPO için aynı kullanıcı girdisine karşılık birden fazla yanıt hazırlanır. Bu yanıtlar daha sonra karşılaştırılır ve hangisinin daha iyi olduğu belirlenir.
Bu karşılaştırma insanlar tarafından yapılabileceği gibi, başka bir dil modeli, kural tabanlı doğrulayıcılar veya sentetik veri üretim süreçleriyle de desteklenebilir. Örneğin bir yanıt daha doğru, daha kısa, daha güvenli veya istenen formata daha uygun olduğu için tercih edilebilir.
DPO algoritması, tercih edilen yanıtın olasılığını tercih edilmeyen yanıta göre artıracak şekilde modeli eğitir. Böylece model yalnızca “doğru cevabı” kopyalamaz; hangi yanıtların daha iyi kabul edildiğini de öğrenir.
6-b Ne Zaman Kullanılır?
DPO, özellikle yanıt kalitesinin yalnızca teknik doğruluğa değil, aynı zamanda tercih edilen üsluba, tona ve kullanıcı deneyimine bağlı olduğu durumlarda kullanışlıdır.
Birden fazla doğru yanıtın mümkün olduğu, ancak bazı yanıtların daha açıklayıcı, daha güvenli, daha yardımcı veya hedef kitleye daha uygun kabul edildiği senaryolarda güçlü bir uyumlama yöntemi sunar.
Örneğin bir müşteri destek ajanında yanıtların yalnızca doğru olması yeterli olmayabilir. Aynı zamanda nazik, kısa, çözüm odaklı ve marka diline uygun olması da beklenir. DPO, bu tür tercihleri modele öğretmek için kullanılabilir.
SFT sonrasında modelin temel davranışı oluşmuşsa, DPO bu davranışı daha rafine hâle getirmek için de tercih edilebilir. Böylece model yalnızca örnekleri taklit etmekle kalmaz; hangi yanıtların daha iyi kabul edildiğini de öğrenir.
6-c Sınırlamaları Nelerdir?
DPO’nun başarısı, kullanılan tercih çiftlerinin kalitesine bağlıdır. Tercih edilen ve tercih edilmeyen yanıtlar arasındaki farklar açık, tutarlı ve iyi tanımlanmış olmalıdır. Aksi hâlde model, gerçekten istenen davranışı öğrenmek yerine veri setindeki belirsizlikleri veya hataları taklit edebilir.
Sentetik tercih verisi kullanıldığında bu risk daha da artabilir. Yanıtları değerlendiren modelin yanlılıkları, zayıf hazırlanmış değerlendirme ölçütleri veya gerçekçi olmayan örnekler eğitim verisine yansıyabilir.
Ayrıca DPO her görev için en uygun yöntem değildir. Kesin doğru-yanlış cevabı olan, nesnel değerlendirme ölçütleriyle kolayca kontrol edilebilen görevlerde SFT, kural tabanlı doğrulama veya test odaklı yöntemler daha etkili olabilir.
Bu nedenle DPO en çok; kalite, ton, güvenlik, yardımcı olma düzeyi ve tercih edilen yanıt stili gibi daha ince davranış farklarının önemli olduğu durumlarda değer yaratır.
7. Doğrulanabilir Ödüllerle Takviyeli Öğrenme (Reinforcement learning with verifiable rewards)
Doğrulanabilir ödüllerle takviyeli öğrenme, modelin çıktılarının nesnel ölçütlerle değerlendirilebildiği durumlarda kullanılan güçlü bir uyumlama yöntemidir.
RLHF benzeri yaklaşımlar genellikle insan tercihleri üzerinden eğitilen ödül modellerine dayanır. Ancak bu ödül modellerini hazırlamak maliyetli olabilir. Ayrıca ödül modeli her zaman kesin, tutarlı veya manipülasyona kapalı sonuçlar üretmeyebilir.
Doğrulanabilir ödüllerle takviyeli öğrenmede ise modelin çıktısı, ayrı bir ödül modeli yerine açık ve denetlenebilir doğrulama fonksiyonlarıyla değerlendirilir. Geçerli JSON üretmek, doğru API çağrısını oluşturmak, testlerden geçen kod yazmak, matematik problemini doğru çözmek veya beklenen araç çağrısını yapmak gibi görevlerde bu yaklaşım oldukça etkilidir.
7-a Nasıl Çalışır?
Bu yöntemde insan tercihlerinden öğrenen bir ödül modeli eğitmek yerine, model çıktısını nesnel olarak kontrol eden doğrulayıcılar kullanılır.
Örneğin doğal dil komutlarını CLI komutlarına dönüştüren bir ajan düşünelim. Modelin ürettiği JSON çıktısı önce ayrıştırılır. Ardından komutun doğru olup olmadığı, kullanılan parametrelerin beklenen değerlerle eşleşip eşleşmediği ve çıktının geçerli bir yapıda olup olmadığı kontrol edilir.
Bu kontroller sonucunda modele açık bir ödül sinyali verilir:
- Çıktı tamamen doğruysa yüksek ödül verilir.
- Komut doğru ama bazı parametreler eksik veya hatalıysa kısmi ödül verilir.
- Komut yanlışsa ya da çıktı geçerli bir JSON değilse negatif ödül verilir.
Bu sayede model, yalnızca yüzeysel olarak iyi görünen yanıtlar üretmeyi değil, gerçekten doğrulanabilir sonuçlara ulaşmayı öğrenir.
7-b Ne Zaman Kullanılır?
Bu yöntem, çıktının nesnel olarak kontrol edilebildiği görevlerde tercih edilir. Yapılandırılmış veri üretimi, CLI komutları, API çağrıları, kod yazma, matematiksel akıl yürütme ve araç kullanımı gibi alanlarda güçlü sonuçlar verebilir.
Ayrıca ödül sinyalinin şeffaf, denetlenebilir ve tekrar edilebilir olması gereken senaryolarda da değerlidir. Çünkü modelin neden ödül aldığı veya neden başarısız sayıldığı açık kurallarla belirlenir.
Doğrulanabilir ödüllerle takviyeli öğrenme, yalnızca yanıt kalitesini değil, modelin problem çözme ve akıl yürütme becerisini geliştirmek için de kullanılabilir. Bu yönüyle, özellikle karmaşık görevleri daha güvenilir şekilde yerine getirmesi beklenen ajanlar için önemli bir tekniktir.
7-c Sınırlamaları Nelerdir?
Bu yöntemin en önemli sınırlaması, yalnızca doğruluğun nesnel olarak ölçülebildiği görevlerde uygulanabilmesidir. Yaratıcı yazım, açık uçlu fikir üretimi, ton ayarı veya öznel kalite değerlendirmesi gerektiren görevler için uygun değildir.
Ayrıca etkili bir RLVR süreci için doğrulama altyapısının kurulması gerekir. Model çıktısını ayrıştıran, beklenen sonuçlarla karşılaştıran ve güvenilir ödül sinyali üreten doğrulayıcılar dikkatli şekilde tasarlanmalıdır.
Buna karşılık, doğrulama kuralları iyi tanımlandığında bu yöntem oldukça güçlüdür. DeepSeek-R1 gibi akıl yürütme odaklı modellerin başarısı, doğrulanabilir ödüllerin modellere daha gelişmiş problem çözme stratejileri kazandırabileceğini göstermiştir. NVIDIA NeMo RL ve NeMo Gym gibi açık kaynak araçlar da bu tür eğitim süreçlerini daha ölçeklenebilir hâle getirmeye yardımcı olur.
8. İnsan Geri Bildirimiyle Takviyeli Öğrenme (Reinforcement Learning from Human Feedback)
İnsan geri bildirimiyle takviyeli öğrenme, dil modellerini insan beklentileriyle daha uyumlu hâle getirmek için kullanılan güçlü bir yöntemdir. Ancak bu güç, beraberinde yüksek veri, insan değerlendirmesi ve hesaplama maliyeti getirir.
RLHF genellikle iki temel aşamadan oluşur. İlk aşamada, insanların hangi yanıtları daha iyi bulduğunu öğrenen bir ödül modeli eğitilir. İkinci aşamada ise asıl model, bu ödül modelinden daha yüksek puan alacak yanıtlar üretmesi için takviyeli öğrenme ile optimize edilir.
Bu yaklaşım özellikle yalnızca teknik doğruluğun yeterli olmadığı durumlarda önem kazanır. Bir yanıtın güvenli, yardımcı, dengeli, nazik, marka diline uygun veya kullanıcı beklentileriyle uyumlu olması gerekiyorsa RLHF güçlü bir uyumlama yöntemi sunar.
8-a Nasıl Çalışır?
RLHF sürecinde insan değerlendiriciler, modelin ürettiği farklı yanıtları karşılaştırır veya kalite açısından sıralar. Bu değerlendirmeler, hangi yanıtların daha iyi kabul edildiğini gösteren bir veri seti oluşturur.
Daha sonra bu veriler kullanılarak bir ödül modeli eğitilir. Ödül modeli, yeni bir yanıtın insan tercihleriyle ne kadar uyumlu olduğunu tahmin etmeye çalışır.
Son aşamada asıl model, bu ödül modelinden yüksek skor alacak şekilde takviyeli öğrenme ile eğitilir. Ancak modelin başlangıçtaki yararlı davranışlarından çok fazla uzaklaşmaması da önemlidir. Bu nedenle eğitim sürecinde, modelin özgün davranış çizgisinden aşırı sapmasını önleyen ek dengeleme mekanizmaları kullanılabilir.
8-b Ne Zaman Kullanılır?
RLHF, basit doğruluk metrikleriyle ölçülmesi zor olan karmaşık uyum hedeflerinde tercih edilir. Özellikle güvenlik, yardımcı olma düzeyi, zarar azaltma, ton, açıklık ve kullanıcı deneyimi gibi daha ince davranış kriterlerinin önemli olduğu senaryolarda değer yaratır.
İnsan değerlendirmesi için yeterli kaynağa sahipseniz ve modelin yalnızca doğru değil, aynı zamanda tercih edilen biçimde yanıt vermesini istiyorsanız RLHF etkili bir yöntem olabilir.
Örneğin genel amaçlı sohbet asistanları, müşteri destek ajanları, eğitim asistanları veya hassas alanlarda çalışan yapay zekâ sistemleri için RLHF, model davranışını insan beklentilerine daha yakın hâle getirmeye yardımcı olabilir.
8-c Sınırlamaları Nelerdir?
RLHF güçlü bir yöntem olsa da uygulanması oldukça karmaşıktır. Süreçte politika modeli, referans model, ödül modeli ve bazı mimarilerde ek değerlendirme bileşenleri birlikte yönetilir. Bu da hem teknik karmaşıklığı hem de operasyonel maliyeti artırır.
Ayrıca yüksek miktarda insan değerlendirmesi, dikkatli hazırlanmış karşılaştırma verisi ve ciddi hesaplama kaynağı gerektirir. Eğitim süreci, kullanılan ödül modeline ve optimizasyon ayarlarına bağlı olarak kararsız hâle gelebilir.
Bir diğer önemli risk ödül hackleme olarak bilinir. Ödül modeli yanlış tasarlanırsa veya değerlendirme ölçütleri eksik kalırsa, model gerçekten daha iyi yanıtlar üretmek yerine ödül modelinden yüksek puan almanın yollarını öğrenebilir. Bu da yüzeyde iyi görünen ancak gerçekte istenmeyen davranışlara yol açabilir.
Bu nedenle RLHF genellikle daha ileri seviye özelleştirme projelerinde, güçlü veri ve değerlendirme altyapısı olan ekipler tarafından tercih edilir.
9. Grup Göreli Politika Optimizasyonu (Group Relative Policy Optimization)
Group Relative Policy Optimization, yani grup göreli politika optimizasyonu, özellikle doğrulanabilir ödüllerle takviyeli öğrenme süreçlerinde kullanılan verimli bir politika optimizasyon yöntemidir.
Bu yaklaşımda model, her eğitim girdisi için birden fazla yanıt üretir. Ardından bu yanıtlar, aynı grup içinde birbirleriyle karşılaştırılır. Böylece model, yalnızca tek bir çıktının mutlak puanına göre değil, aynı girdiye verilen farklı yanıtlar arasındaki göreli başarıya göre öğrenir.
GRPO’nun önemli avantajlarından biri, PPO gibi bazı takviyeli öğrenme yöntemlerinde kullanılan ayrı bir eleştirmen modeline ihtiyaç duymamasıdır. Bu da eğitim sürecini daha sade ve kaynak açısından daha verimli hâle getirebilir.
9-a Nasıl Çalışır?
Her eğitim girdisi için mevcut modelden birden fazla yanıt alınır. Bu sayı uygulamaya göre değişebilir; genellikle birkaç yanıttan onlarca yanıta kadar çıkabilir.
Daha sonra her yanıt, tanımlanmış ödül fonksiyonu tarafından puanlanır. Örneğin çıktı geçerli bir JSON mu, doğru API çağrısını yapıyor mu, testlerden geçiyor mu veya beklenen sonuca ulaşıyor mu gibi ölçütler üzerinden değerlendirme yapılabilir.
GRPO, her çıktının aldığı puanı grubun genel performansıyla karşılaştırır. Ortalama performansın üzerinde kalan yanıtlar güçlendirilir; ortalamanın altında kalan yanıtların ise tekrar üretilme olasılığı azaltılır.
Bu sayede model, aynı problem için hangi çözüm yollarının diğerlerine göre daha başarılı olduğunu öğrenir. Ayrı bir eleştirmen ağına ihtiyaç duymadan, grup içi karşılaştırmalar üzerinden etkili bir öğrenme sinyali elde edilir.
9-b Ne Zaman Kullanılır?
GRPO, özellikle doğrulanabilir ödüllerle takviyeli öğrenme kullanıyorsanız ve daha verimli bir optimizasyon yöntemine ihtiyaç duyuyorsanız tercih edilebilir.
Hesaplama kaynaklarının sınırlı olduğu durumlarda da avantaj sağlar. Ayrı bir eleştirmen modeli eğitme ve çalıştırma ihtiyacını azaltması, eğitim sürecini daha hafif ve yönetilebilir kılar.
Ayrıca PPO gibi daha karmaşık yöntemlere kıyasla daha sade, uygulanabilir ve istikrarlı bir eğitim süreci hedefliyorsanız GRPO güçlü bir seçenek olabilir.
9-c Sınırlamaları Nelerdir?
GRPO verimli bir yöntem olsa da her eğitim girdisi için birden fazla yanıt üretmeyi gerektirir. Bu nedenle, denetimli öğrenme yöntemlerine kıyasla her eğitim adımı daha fazla hesaplama kaynağı kullanabilir.
Grup boyutu da önemli bir etkendir. Grup çok küçükse, yanıtlar arasındaki karşılaştırma sinyali gürültülü olabilir ve modelin hangi davranışları güçlendirmesi gerektiği netleşmeyebilir. Bu nedenle grup boyutunun dikkatli ayarlanması gerekir.
Ayrıca GRPO’nun başarısı büyük ölçüde kullanılan ödül fonksiyonunun kalitesine bağlıdır. Ödül fonksiyonu eksik, hatalı veya yanlış hedeflere odaklanmışsa, model de bu hatalı sinyallere göre güncellenir. Bu durum, istenmeyen davranışların güçlenmesine yol açabilir.
Bu nedenle GRPO en iyi sonucu, iyi tasarlanmış ve güvenilir ödül fonksiyonlarıyla birlikte kullanıldığında verir.
Ajan Özelleştirmede En Etkili Yaklaşım Nasıl Kurulur?
Pratikte en başarılı ajan özelleştirme yaklaşımı, tek bir yönteme dayanmaz. Bunun yerine, farklı teknikleri ihtiyaca göre sıralı ve ölçülebilir şekilde bir araya getirir.
Çünkü her yöntem aynı problemi çözmez. Prompt engineering hızlı yönlendirme sağlar, RAG ajana güncel ve kuruma özel bilgi kazandırır, araçlar dış sistemlerle etkileşim kurmasını mümkün kılar, SFT temel davranışı öğretir, DPO tercih edilen yanıt stilini güçlendirir, RLVR ve GRPO ise doğrulanabilir görevlerde daha güçlü akıl yürütme ve işlem doğruluğu sağlayabilir.
Temsili bir ajan özelleştirme akışı şu şekilde kurulabilir:
1. Aşama: Prompt Engineering, Araçlar, Yetenekler ve RAG
İlk aşamada ajanın temel davranışı oluşturulur. Sistem promptlarıyla ajanın rolü, sınırları ve çıktı beklentileri tanımlanır. Araçlar ve yetenek tanımlarıyla ajanın yapabilecekleri genişletilir. RAG ile de ajanın güncel, kuruma özel veya alan odaklı bilgilere erişmesi sağlanır.
Bu aşama, genellikle en hızlı ve en düşük maliyetli başlangıç noktasıdır. Modelin ağırlıkları değiştirilmeden, ajanın belirli bir iş bağlamında nasıl çalışacağı tasarlanır.
2. Aşama: Sentetik Veri Üretimi
Promptlar, araçlar ve bilgi getirme sistemleri tek başına yeterli olmadığında eğitim için veri üretilir. Özellikle gerçek veri azsa, pahalıysa veya çeşitlilik açısından sınırlıysa sentetik veri önemli bir rol oynar.
Bu aşamada amaç, ajanın karşılaşabileceği farklı senaryoları temsil eden kaliteli örnekler oluşturmaktır. Kullanıcı girdileri, ideal yanıtlar, araç çağrıları, hata durumları ve sınır senaryoları bu veri setine dahil edilebilir.
3. Aşama: Supervised Fine-Tuning
SFT, modele özel görevlerin temel davranışını öğretmek için kullanılır. Bu aşamada model; alan terminolojisini, beklenen çıktı yapısını, araç çağrısı formatlarını ve görevle ilgili tekrar eden örüntüleri öğrenir.
SFT, ajanın belirli bir görevi daha tutarlı şekilde yerine getirmesini sağlar ve sonraki uyumlama yöntemleri için güçlü bir temel oluşturur.
4. Aşama: DPO, RLVR veya GRPO ile İyileştirme
SFT ile temel davranış kazandırıldıktan sonra model, tercih tabanlı veya takviyeli öğrenme yöntemleriyle daha da iyileştirilebilir.
DPO genellikle daha düşük maliyetli ve daha kararlı bir yöntemdir. İnsanlardan, LLM hakemlerinden veya kural tabanlı doğrulayıcılardan elde edilen tercih çiftleri olduğunda iyi sonuç verir. Özellikle ton, stil, yardımcı olma düzeyi ve yanıt kalitesi gibi daha ince tercihleri modele öğretmek için uygundur.
RLVR ve GRPO ise çıktıların nesnel olarak doğrulanabildiği durumlarda öne çıkar. Geçerli JSON üretimi, doğru API çağrıları, testlerden geçen kod, matematiksel doğruluk veya araç kullanım doğruluğu gibi görevlerde daha güçlü akıl yürütme ve işlem güvenilirliği sağlayabilir.
Bu yöntemler birbirinin katı alternatifi değildir. Yaygın bir akış şu şekilde kurulabilir:
Bu düzende SFT modele temel görev davranışını kazandırır. DPO, bu davranışı format, stil ve tercih edilen yanıt kalitesi açısından daha ekonomik şekilde iyileştirir. Ardından RLVR, doğrulanabilir ödüller sayesinde daha zorlu akıl yürütme ve karar verme becerilerini güçlendirebilir.
5. Aşama: Değerlendirme ve Sürekli İyileştirme
Son aşamada ajanın performansı düzenli olarak ölçülür. Görev başarı oranı, araç çağırma doğruluğu, çıktı yapısına uyum, yanıt kalitesi, hata oranı, gecikme ve maliyet gibi metrikler takip edilir.
Elde edilen sonuçlara göre önceki aşamalar yeniden gözden geçirilir. Bazen promptları sadeleştirmek, RAG arama kalitesini iyileştirmek veya beceri tanımlarını güncellemek yeterli olabilir. Daha derin sorunlarda ise yeni eğitim verisi üretmek, SFT veri setini genişletmek ya da tercih ve ödül mekanizmalarını yeniden tasarlamak gerekebilir.
Bu yaklaşımın temel prensibi şudur: Hafif yöntemlerle başla, sonuçları dikkatle ölç ve yalnızca gerçekten ihtiyaç olduğunda daha karmaşık tekniklere geç.
Doğru Ajan Özelleştirme Yaklaşımı Nasıl Seçilir?
Doğru ajan özelleştirme yöntemini seçmek için önce ajanın hangi problemi çözmeye çalıştığını netleştirmek gerekir. Her teknik aynı ihtiyaca cevap vermez. Bu nedenle seçim yaparken görevin yapısı, mevcut kaynaklar ve projenin olgunluk seviyesi birlikte değerlendirilmelidir.
1. Görevin Özellikleri
İlk bakılması gereken nokta, görevin nasıl değerlendirilebildiğidir.
Eğer ajanın çıktıları nesnel olarak doğrulanabiliyorsa, RLVR ve GRPO güçlü seçeneklerdir. Örneğin geçerli JSON üretimi, doğru API çağrıları, testlerden geçen kod, matematiksel doğruluk veya doğru araç kullanımı gibi görevlerde bu yöntemler etkili olabilir.
Buna karşılık kalite daha öznel ölçütlere bağlıysa DPO daha uygun bir tercih olabilir. Ton, stil, yardımcı olma düzeyi, güvenlik, açıklık veya marka diline uyum gibi kriterlerin önemli olduğu senaryolarda tercih tabanlı öğrenme daha fazla değer yaratır.
Görev iyi tanımlanmışsa ve modelin temel olarak doğru örnekleri taklit etmesi yeterliyse SFT güçlü bir başlangıç noktası sunar. Özellikle belirli çıktı yapıları, araç çağrıları, sınıflandırma görevleri veya tekrar eden iş akışları için SFT oldukça etkili olabilir.
2. Mevcut Kaynaklar
İkinci önemli faktör, sahip olduğunuz teknik altyapı, veri ve bütçedir.
Tam RLHF süreçleri ciddi hesaplama gücü, insan değerlendirmesi ve operasyonel hazırlık gerektirir. LoRA tabanlı SFT veya diğer parametre verimli ince ayar yöntemleri ise çok daha sınırlı donanım kaynaklarıyla uygulanabilir. Prompt engineering ve RAG gibi çıkarım aşamasında kullanılan yöntemler ise genellikle ek eğitim maliyeti gerektirmeden hızlı sonuç verir.
Bu nedenle en gelişmiş yöntemi seçmek her zaman en doğru yaklaşım değildir. Seçilecek yöntem, projenin bütçesi, ekip yetkinliği, veri erişimi ve teknik altyapısıyla uyumlu olmalıdır.
3. Proje Olgunluğu
Üçüncü faktör, projenin hangi aşamada olduğudur.
Erken aşamadaki ajan projelerinde önce prompt engineering, araç tanımları, RAG yapısı ve değerlendirme altyapısı üzerinde çalışmak daha doğru olur. Bu aşamada amaç, ajanın temel davranışını hızlıca görmek, hata türlerini anlamak ve ölçülebilir bir başlangıç noktası oluşturmaktır.
Eğitim tabanlı özelleştirme yöntemleri ise genellikle proje olgunlaştıkça daha yüksek değer üretir. Net metrikler, tekrarlayan hata örüntüleri, yeterli veri ve iyi tanımlanmış başarı kriterleri oluştuğunda SFT, DPO, RLVR veya GRPO gibi yöntemler çok daha etkili hâle gelir.
Sonuç: Başarılı Ajan Özelleştirme Ölçümle Başlar
Yapay zekâ ajanı özelleştirme, tek bir teknikten ibaret değildir. Basit prompt düzenlemelerinden gelişmiş takviyeli öğrenme yöntemlerine kadar uzanan çok katmanlı bir süreçtir.
En başarılı ekipler genellikle önce hafif ve hızlı uygulanabilir yöntemlerle başlar. Erken dönemde değerlendirme sistemlerine yatırım yapar. Daha sonra ölçümler gerçekten ihtiyaç olduğunu gösterdiğinde eğitim tabanlı teknikleri devreye alır.
Çünkü özelleştirme ve değerlendirme birbirinden ayrı düşünülemez. Ölçemediğiniz şeyi güvenilir biçimde iyileştiremezsiniz.
Bir sistem promptu değişikliğinden GRPO eğitimine kadar her özelleştirme kararı, net metriklerle yönlendirilmeli ve gerçek dünya performansıyla doğrulanmalıdır.
Kısacası güçlü bir yapay zekâ ajanı oluşturmak için yalnızca iyi bir model seçmek yeterli değildir. O modeli doğru bilgiyle, doğru araçlarla, doğru eğitim verisiyle ve doğru değerlendirme süreçleriyle sürekli olarak geliştirmek gerekir.
Yapay zeka ajanlarını etkin bir şekilde çalıştırabilmek için doğru donanım altyapısına ihtiyaç duyulmaktadır. OpenZeka olarak, uçta (edge) çalışan yapay zeka çözümlerinden yapay zeka fabrikalarına kadar geniş bir yelpazede çözümler sunuyoruz. Detaylı bilgiye ve çözümlerimize aşağıdaki bağlantı üzerinden ulaşabilirsiniz.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.
Bu bağlantıyı görüntüleyebilmek için kayıt olmalı zaten üyeyseniz üye girişi yapmalısınız.