Google Research, LLM'lerin bilgiyi unutmadan öğrenmesini sağlayan uyku framework'ünü tanıttı

Google Research, büyük dil modellerinin sürekli öğrenme sürecinde yeni bilgi edinirken eski yeteneklerini korumasını amaçlayan bir yaklaşım tanıttı. Araştırma ekibinin "uyku framework'ü" adını verdiği yöntem, insanlardaki uyku döngüsünden esinlenerek bellek pekiştirme ve rüya görme adlı iki aşamadan oluşuyor.

Google Research'ün paylaştığı teorik analize göre yöntem, yeni bilgi ile eski yetenekler arasında basit bir takas yapmadan sürekli öğrenmeyi desteklemeyi hedefliyor. Çalışma, modelin kısa vadeli izlerini doğrudan kopyalamak yerine, hem modelin kendi ürettiği davranışı hem de öğrenme hedefinin ödüllendirdiği anlamsal nitelikleri koruyan kompakt bir yön kümesi belirlediğini ortaya koyuyor.

Google uyku framework'ü nasıl çalışıyor?

Framework'ün ilk aşaması olan bellek pekiştirmede, bilgi ekimi yapılandırılmış ve düşük dereceli bir sıkıştırma problemi olarak ele alınıyor. Modele, kısa vadeli izlerin her ayrıntısını parametrelerine kopyalaması istenmiyor. Bunun yerine modelin çıkarım sırasında gerçekte üreteceği yörüngelerle uyumlu bir sıkıştırma yapılıyor.

Araştırmacılara göre bu aşamada iki sinyal tamamlayıcı bir rol oynuyor. Politikaya uygun damıtma, pekiştirmeyi modelin çıkarım anında üreteceği yörüngelerle hizalıyor ve yalnızca öğretmen modelin dağılımıyla eğitimden doğabilecek uyumsuzluğu azaltıyor. Anlamsal ödül ise neyin saklanmaya değer olduğunu değiştirerek, yalnızca token olasılıklarını eşleştirmek yerine anlamı ve göreve ilişkin davranışı koruyan yönlere öncelik veriyor. Parametre genişletme de bu seçilmiş anıların daha önce pekiştirilmiş bilgilerin üzerine yazılmadan kaydedilmesi için gereken kapasiteyi sağlıyor.

Rüya aşaması ne işe yarıyor?

İkinci aşama olan rüya görmede, rastgele uzman etkinleştirme ve ödül temelli örnek seçimi devreye giriyor. Teorik analize göre bu mekanizmalar öğrenmenin geometrisini iyileştiriyor. Farklı uzman karışımlarının (MoE) devreye sokulması, sentetik üretim sırasında keşfedilen gradyan yönlerinin çeşitlenmesini sağlıyor ve modeli normal uyanık verilerinin tek başına ürettiğinden daha zengin bir güncelleme kümesiyle karşılaştırıyor.

Gradyana dayalı filtreleme ise en faydalı öğrenme sinyalini taşıyan sentetik deneyimlere ağırlık veriyor. Böylece bilgilendirici yönler güçlendirilirken alttaki gradyan uzayının yapısı korunuyor. Google Research, bu adımların birlikte daha dengeli bir optimizasyon ortamı oluşturduğunu belirtiyor: öğrenme az sayıda yön tarafından daha az domine ediliyor, gradyanlar daha iyi koşullanıyor ve model yeteneklerini geliştirirken daha istikrarlı ilerleyebiliyor.

Neden önemli?

Araştırma ekibi, rüya aşamasını basit bir kendi kendine veri çoğaltma yöntemi olarak görmüyor. Çalışmaya göre bu aşama, modelin kendini geliştirdiği güncellemeleri çeşitlendiren, seçen ve pekiştiren bilinçli bir süreç olarak tasarlanmış. Bu bakış açısı, sürekli öğrenmede yeni bilgi edinirken eski yeteneklerin kaybolması sorununa teorik bir çerçeve sunuyor.

Google Research'ün paylaşımı, yöntemin teorik temellerine odaklanıyor; framework'ün hangi modellerde, ne zaman ve hangi kullanıcılar için kullanıma açılacağına dair bir takvim ya da erişim bilgisi paylaşılmadı. Türkiye'deki kullanıcılar açısından da yöntemin bir ürüne dönüşüp dönüşmeyeceği henüz açıklanmadı.