ALTK-Evolve, ağırlık güncellemeden müşteri hizmetleri testinde zirveye çıktı

Hugging Face araştırmacıları, temel bir müşteri hizmetleri ajanının, modelin kendi denemelerinden çıkarılan kısa davranış kurallarıyla donatıldığında τ²-bench perakende testinde yüzde 67,5 Pass^4'e ulaştığını açıkladı. Yöntem, 12 Ekim 2026 tarihli liderlik tablosu anlık görüntüsündeki tüm perakende kayıtlarının önüne geçti. Başarı, sınır (frontier) modeli ya da ağırlık güncellemesi gerektirmeden elde edildi.

ALTK-Evolve adı verilen yaklaşım, GPT-4.1'in eğitim görevlerindeki denemelerini inceleyip başarıları ve hataları kısa davranış kurallarına dönüştürüyor: bir müşterinin kimliğinin nasıl doğrulanacağı, bir işlemin nasıl onaylanacağı ya da bir iadenin nasıl işleneceği gibi. Bu kurallar sistem istemine ekleniyor. Hem kural çıkarımı hem de ajan aynı modelle çalıştığı için insan etiketlemesi ya da ağırlık güncellemesi gerekmiyor.

τ²-bench neyi ölçüyor?

τ²-bench, bir ajanın gerçek kısıtlar altında müşteri hizmetleri görüşmelerini ne kadar iyi yürüttüğünü ölçen bir test seti. Her görevde ajan, belirli bir hedefi olan LLM ile simüle edilmiş bir müşteriyle, alan araçlarıyla (sipariş sorgulama, iade işleme, uçuş yeniden rezervasyonu) ve uyması gereken yazılı bir politika belgesiyle karşı karşıya. Görev ancak son veritabanı durumu beklenen sonuçla eşleştiğinde çözülmüş sayılıyor. Araştırma, testin perakende ve havayolu olmak üzere iki müşteri hizmetleri alanını kapsıyor.

Araştırmacılar, τ²-bench'in kendi temel ReAct ajanını kullandı; ajan modeli olarak gpt-4.1, müşteri simülatörü olarak gpt-5.5 tercih edildi ve her görev 4 kez denendi. Stok yapıya yapılan tek değişiklik, sistem istemine eklenen öğrenilmiş kural bloğu oldu.

Kılavuzlar hem yeteneği hem güvenilirliği artırıyor

Her kural, kaç farklı eğitim görevinden çıkarıldığını gösteren bir destek sayısı taşıyor. Ekip üç yapılandırmayı karşılaştırdı: kılavuzsuz temel durum, yalnızca destek sayısı 3 ve üzeri kuralları tutan küçük "sup3" çekirdeği ve tüm kuralları tutan "lossless" seti.

Ortalama doğruluk perakendede 4,4 puan (78,1'den 82,5'e), havayolunda 7,5 puan (57,5'ten 65,0'a) yükseldi. Güvenilirlik ekseninde kazanç daha büyük oldu: katı Pass^4 ölçütü perakendede 10 puan (57,5'ten 67,5'e), havayolunda yine 10 puan (35,0'dan 45,0'a) arttı. Pass^4, bir görevin dört denemenin tamamında başarıyla çözülmesini istediği için ortalama başarının ötesinde bir güvenilirlik ölçüsü sunuyor.

İki alan, ne kadar kılavuzun işe yaradığı konusunda ayrışıyor. Perakendede her ölçütte daha fazla kılavuz daha iyi sonuç verirken, havayolunda güvenilirlik tarafında 14 kurallık kompakt sup3 çekirdeği öne çıktı: Pass^4'ü yüzde 45'e taşırken lossless seti yüzde 40'ta kaldı.

Performans artışı daha çok tokena, daha az tura mal oluyor

Kılavuzların maliyeti beklendiği yerde ortaya çıkıyor: daha uzun ve dağınık bir görüşmede değil, istem girişinde. Aynı görevlerin her iki ayarda da çözüldüğü eşleştirilmiş çalıştırmalarda ajan daha uzun konuşmuyor; kılavuzlar görüşmeleri bir miktar kısaltıyor. Perakendede 10,59'dan 10,16'ya, havayolunda 9,15'ten 8,82'ye inen asistan turu sayısı, her turun sıralı bir LLM çağrısı olması nedeniyle uçtan uca gecikmeyi de düşürüyor.

Tek gerçek ek maliyet, her çağrıda taşınan büyük sistem isteminde: perakendede 292 kurallık istem, görüşme başına maliyeti yaklaşık 0,084 dolardan 0,139 dolara çıkarıyor. Araştırmacılara göre üretimde bu maliyetin büyük kısmı, kural bloğu her çağrıda aynı olduğu için istem önbelleklemesiyle geri kazanılabilir.

Sınır modelleriyle çalışan ajanlar da kazanıyor

Ekip, öğrenilmiş kılavuzların yalnızca daha zayıf modellerin açıklarını kapattığı itirazını da test etti. Havayolu alanı, ajan ve kural çıkarımı için gpt-5.5 ile yeniden çalıştırıldı. Bu kurulumda hiçbir kural destek sayısı 3'e ulaşmadığı için yüksek destekli çekirdek sup2 oldu.

Kılavuzlar burada da işe yaradı: aynı test görevlerinde doğruluk 10 puan (72,5'ten 82,5'e), katı Pass^4 ise 15 puan (55,0'dan 70,0'a) yükseldi. Bu, gpt-4.1 ile aynı görevlerde görülen 10 puanlık artıştan daha büyük ve çok daha yüksek bir tabandan geldi.

Liderlik tablosunda ALTK-Evolve nerede?

Gönderimler, τ²-bench'in zorunlu tuttuğu tam taban bölünmesinde (eğitim ve test birleşik) puanlanıyor ve Pass^4 ile raporlanıyor. Perakendede öğrenilmiş kurallı ajan yüzde 67,5 Pass^4'e ulaşarak her sınır modelinin ve sentetik τ²-bench perakende verisiyle ince ayar yapılan RAFT-30B-A3B'nin (yüzde 61,4) önüne geçti; aradaki fark 6,1 puan.

Havayolunda gpt-4.1 kullanan kompakt sup3 çekirdeği yüzde 44 Pass^4 ile 8. sıraya yerleşti; akıl yürütme kullanmayan GPT-5.2'yi geçti ve Claude Sonnet 4.5'e yaklaştı. Daha güçlü taban modelle aynı yaklaşım yüzde 82,0'a ulaşarak yüzde 66-72 aralığındaki tüm sınır modeli kayıtlarını geride bıraktı ve havayolunda birinci oldu.

Neden önemli?

Bir modeli bir test seti üzerinde ince ayarlamak pahalı, kırılgan ve bir sonraki alana taşınmıyor. ALTK-Evolve ise stok bir ajanı hem perakende hem havayolu alanında, ağırlıklara dokunmadan iyileştiriyor. Araştırmacılar bunu daha önce kodlama ajanlarında da göstermişti; yeni sonuçlar yaklaşımın alan politikalarına uymayı, müşteri talebini anlamayı ve doğru araç eylemlerini yürütmeyi gerektiren müşteri hizmetlerinde de çalıştığını ortaya koyuyor.

Hugging Face'in paylaştığı verilere göre yöntem, Türkiye'deki müşteri hizmetleri ajanları için de doğrudan bir seçenek sunuyor; ancak kılavuzların Türkçe görüşmelerde nasıl performans göstereceğine dair bir ölçüm henüz yayımlanmadı. Türkçe desteğine ilişkin ayrıntıların ilerleyen çalışmalarda netleşmesi beklenebilir.