Hugging Face, dil modellerinin uzun metinlerdeki durum takibini ölçen StateBench'i duyurdu

Hugging Face, dil modellerinin uzun belgeler boyunca varlıklara ilişkin bilgilerin değişimini ne kadar iyi izlediğini ölçen StateBench adlı yeni bir kıyaslama setini duyurdu. Şirketin blogunda paylaştığına göre test, durum takibini dört farklı zorluk seviyesinde ele alıyor ve farklı mimariler arasındaki farkları görünür kılmayı amaçlıyor.

Durum takibi, bir kod dosyasındaki değişkenlerin atanıp yeniden atanmasından bir roman kahramanının yer değiştirmesine kadar pek çok görevin temelinde yatıyor. Araştırmacılar, StateBench'i oluştururken aynı değişken dizisinden yola çıkarak dört karşılaştırılabilir problem üretiyor; tüm sürümlerde değişken sayısı ve atamaların konumu aynı kalıyor, yalnızca atama türü değişiyor.

StateBench'in dört zorluk seviyesi ne anlama geliyor?

En kolay seviye olan r-trivial, değeri hiç değişmeyen sabit atamaları kapsıyor; kodda let x = 4 ifadesine, gündelik hayatta ise doğum tarihine benziyor. Aperiodic seviyesinde değişkenin son değerini bulmak yeterli; termostat ayarı gibi düşünülebilir. Soluble seviyesi, her güncellemenin mevcut değerin üzerine inşa edildiği durumları içeriyor: x = x + 5 ya da bir oyun skoru gibi. En zor seviye olan general finite ise bir değişkenin başka bir değişkenin o anki değerini almasına, yani referansla atamaya dayanıyor. Araştırmacılar bunu, beş bardağın altına saklanan topun yerinin sürekli yer değiştirmesiyle açıklıyor.

Önceden eğitilmiş modeller ve sınır modeller nasıl performans gösterdi?

Ekip, önce eğitim verisi ve bağlam uzunluğu belgelenmiş açık modelleri test etti. Aralarında 7 milyar parametreli Olmo 3 ile Gated DeltaNet katmanları eklenmiş Olmo Hybrid ve 275 milyon ile 2,7 milyar parametreli küçük modeller yer aldı. Tüm modeller aynı veriyle eğitilmişti ve hiçbiri eğitim sırasında 64 bin token'dan uzun bağlam görmemişti; testlerin çoğu bu sınırın belirgin biçimde üzerinde yapıldı.

Neredeyse tüm modeller r-trivial problemlerde iyi sonuç verdi, girdiler uzadıkça aperiodic görevlerde doğruluk kaybetti ve general finite problemlerinde şans düzeyinde kaldı. Problem formatının da sonucu etkilediği görüldü: 275 milyon parametreli hibrit ve Gated DeltaNet modelleri RULER tarzı r-trivial sorularda tavana yakın skor alırken, aynı sorular elektronik tablo düzenlemesi biçiminde sunulduğunda şans düzeyine indi.

Ardından dört sınır modeli test edildi: Gemini 3.8 Flash, Claude Opus 5.5 ile GPT-6 Sol ve Luna. Dördü de r-trivial ve aperiodic problemlerde başarılı oldu. Ancak soluble ve general finite seviyelerinde girdiler uzadıkça doğruluk keskin biçimde düştü ve en uzun general finite problemlerinde yüzde 13 ya da altına indi. Araştırmacılar bunun olası nedenlerinden birini hassasiyet olarak açıklıyor: bu seviyelerde sonucu etkileyen adım sayısı arttığı için modelin tek bir güncellemeyi kaçırması bile yanlış sonuca yol açabiliyor.

Doğrudan eğitim mimari farkını ortaya koyuyor

Ekip, zor seviyelerdeki başarısızlığın mimariden mi yoksa ön eğitim verisinden mi kaynaklandığını anlamak için 275 milyon parametreli modelleri sıfırdan StateBench üzerinde eğitti. İki transformer, iki hibrit ve farklı bellek güncelleme kısıtlarına sahip iki Gated DeltaNet varyantı, en fazla 256 atama içeren dizilerle eğitilip 64 bin atamaya kadar, yani eğitim uzunluğunun 250 katına kadar test edildi.

Diziler uzadıkça mimariler ayrıştı. Gated DeltaNet ve hibrit modeller r-trivial, aperiodic ve soluble problemlerde on binlerce atamaya kadar neredeyse kusursuz genelleme yaptı. Transformer'lar kolay seviyeleri öğrendi ancak uzun dizilerde geriledi ve general finite problemlerini hiç öğrenemedi. En zor seviyede daha esnek bellek güncellemesine sahip Gated DeltaNet varyantı en uzağa gitti ve eğitimde gördüğü en uzun dizinin yaklaşık 10 katına kadar tavana yakın kaldı. Araştırmacılara göre bu tablo, Gated DeltaNet ve hibrit modellerdeki açığın mimariden çok eğitime işaret ettiğini gösteriyor.

Neden önemli?

StateBench, durum takibini yalnızca en zor uç durumlarda değil, gündelik hayatta daha sık karşılaşılabilecek daha basit biçimlerde de ölçmeyi amaçlıyor. Transformer'ların uzun bağımlılık zincirlerinde teorik sınırları olduğu biliniyor; bu da Gated DeltaNet gibi ileriye bellek taşıyan yinelemeli ve hibrit mimarilere ilgiyi artırıyor. Hugging Face, yeni mimari türleri yaygınlaştıkça hangisinin hangi durum takibi türünü kaldırabildiğini bilmenin, gelecekteki sistemlerin geliştirilmesine ve eğitilmesine yön verebileceğini belirtiyor. Kıyaslama seti, teknik rapor, veri seti ve kod olarak yayımlandı.

Ekip, bazı soruların yanıtının hâlâ açık olduğunu kabul ediyor. Yeni kanıtlarına göre daha kısıtlı bellek güncellemesine sahip Gated DeltaNet, makaledeki sabit hassasiyetli aritmetik ve yuvarlama varsayımıyla tüm aperiodic görevleri ve bazı periyodik görevleri çözebiliyor; ancak bu varyantın hiyerarşideki tam yeri, tüm soluble görevleri çözüp çözemeyeceği ve sayısal hassasiyetin ya da dikkat katmanlarıyla birleştirmenin yetenekleri nasıl etkilediği henüz bilinmiyor. Ayrıca StateBench sabit sayıda değişken varsayıyor; uzun bir sohbette yeni kişilerin ve nesnelerin ortaya çıkması gibi gerçek görevlerde görülen dinamik yapılar mevcut çerçevede yer almıyor.