MIT araştırmacıları: GPT-6 Astra, diğer yapay zekâ modellerinin ağırlıklarını doğrudan değiştirebiliyor

MIT araştırmacıları, OpenAI'nin GPT-6 Astra modelinin diğer yapay zekâ modellerinin iç ayarlarını, yani ağırlıklarını, geleneksel eğitim sürecine gerek kalmadan analiz edip değiştirebildiğini gösterdi. Araştırmacıların araştırma blogunda paylaştığı sonuçlara göre yaklaşım, yapay zekâ modellerinin nasıl ayarlanıp kontrol edildiğine dair mevcut yöntemleri sorgulatabilir; ancak deneylerin belirgin sınırları da bulunuyor.

Yönteme "Weight-Space Programming" (ağırlık uzayında programlama) adı veriliyor. Burada bir dil modeli, pahalı yeniden eğitim süreçlerine girmeden, dev sayı tabloları halinde düzenlenmiş ağırlıklara doğrudan müdahale ediyor. Deneylere göre Astra, duruma göre ham sayı listeleriyle çalıştı ya da programlama araçları ve test çalışmalarından gelen geri bildirimleri kullandı.

GPT-6 Astra ağırlıklardan neler çıkarabiliyor?

Araştırmacılar, eğitilmiş ağların ham ağırlıklarını Astra'ya vererek bu ağların ne öğrendiğini sordu. Astra, dört bilgisayar oyunundan hangisi için eğitildiğini doğru tespit etti. Bir görsel üreticinin ürettiği temel şekilleri de tanıdı; ancak içi dolu şekillerle dış çizgileri karıştırdı. Küçük dil modellerinin eğitim dilini de doğru eşleştirdi; bunun için eğitim verisine erişimi ya da modelleri çalıştırma imkânı yoktu.

Bir başka testte Astra, iki ince ayarlı dil modelinden hangisinin kullanıcılarla her zaman aynı fikirde olacak şekilde eğitildiğini bulmak zorundaydı. Yalnızca ağırlıklara bakarak başta farkı göremedi. Astra'ya modellerin metin işleme sırasında neye dikkat ettiğini gözlemleme izni de verildiğinde, üç model çiftinin tamamında yaltaklanmaya eğilimli modeli doğru belirledi.

Sıfırdan yazılan modeller eğitilmiş rakiplerini geçebiliyor

Astra daha ileri de gitti: Yalnızca oyun kuralları ve kaynak koduna dayanarak, hiç eğitim almadan üç basit bilgisayar oyunu için model ağırlıkları üretti. Araştırmacılara göre bu modeller, standart yöntemle 100 milyon tur eğitilmiş modelleri geride bıraktı. Breakout'ta Astra'nın modeli ortalama 517 puan alırken, eğitilmiş referans model 25 puanda kaldı. Diğer iki oyunda ise Astra, en uzun süre eğitilmiş sürümlerin gerisinde kaldı.

9x9'luk tahtada oynanan Go oyununda Astra, yaklaşık 1,5 milyon parametreli bir ağın ağırlıklarını yazdı. Ağın her turda en fazla 128 deneme oyunu oynadığı 50 test iterasyonluk bir bütçeyle Astra ağırlıkları düzeltti ve yaklaşık 20 milyon oyunla eğitilmiş benzer büyüklükteki bir modeli yendi.

Hedefli düzeltme: Qwen3.5-0.8B örneği

En pratik deney, dil modeli Qwen3.5-0.8B üzerinde yapıldı. Astra'dan, bir kodlama ortamı ve pratik sorularla 50 test iterasyonu kullanarak modelin matematik becerisini geliştirmesi istendi. Değerlendirme, Astra'nın daha önce hiç görmediği sorularla yapıldı.

Astra, Qwen'in kendi model belgelerinde de uyarılan bir sorunu tespit etti: Modelin yanıta ulaşmak yerine aynı metni sonsuz döngüde tekrarladığı "düşünme döngüleri". Ardından tüm ağırlıkların yalnızca yüzde 0,016'sını değiştirdi. Sonuçta MATH-500 kıyaslamasındaki doğruluk yüzde 7,9'dan yüzde 48,1'e, talimat takip becerisi ise yüzde 21'den yüzde 62'ye çıktı. Ancak düşünme döngüleri tamamen ortadan kalkmadı: Yanıtların üçte biri hâlâ maksimum metin uzunluğuna ulaşıyordu; bu oran öncesinde yüzde 93'tü.

Araştırmacılar, Astra'nın Qwen modelinde mevcut yetenekleri bastıran bir tıkanıklığı kaldırmış olabileceğini düşünüyor. Ancak bu deneyde, bir modelin temelden sahip olmadığı becerilerin tek tek ağırlıklar değiştirilerek eklenemediği de görüldü. Bu tür döngülere nadiren giren daha küçük bir modelde (Gemma 3 270M) Astra ölçülebilir bir iyileşme sağlayamadı.

Neden önemli?

Araştırmacılar yaklaşımın, model ağırlıkları üzerinde doğrudan güvenlik denetimi yapmak veya pahalı yeniden eğitime girmeden hedefli davranış değişiklikleri uygulamak için potansiyel taşıdığını belirtiyor. Bununla birlikte yeteneklerin hâlâ sınırlı olduğunu da kabul ediyorlar. Ekip, sıradaki adım olarak sistematik ölçüm için bir kıyaslama seti hazırlamayı planlıyor. Deney kayıtları GitHub'da, değiştirilmiş Qwen modeli ise Hugging Face'te yayımlandı.

Tartışma: eski bir fikir mi, yeni bir paradigma mı?

Yapay zekâ öncülerinden Jürgen Schmidhuber, X üzerinden yaklaşımın "eski bir fikir" olduğunu savunarak 1990'lardaki kendi çalışmalarına işaret etti. Araştırmacılardan Khattab ise bu makalelere atıf verdiklerini ve çalışmaların "zamanının çok ötesinde" olduğunu söyledi. Khattab'a göre yeni olan, bugünün dil modellerinin insan dili ile bir ağın sayısal değerleri arasında ne kadar iyi çeviri yapabildiği.

Yöntemin Türkiye'deki geliştiriciler ve model ekipleri için ne zaman erişilebilir olacağı ya da ticari araçlara nasıl yansıyacağı henüz açıklanmadı.