Yapay zekâ denetçileri ajan hatalarını yakalıyor ama yanlış alarmla boğuyor

Yapay zekâ modelleri, başka yapay zekâ ajanlarının kayıtlarında sorunlu davranışları sık sık tespit edebiliyor. Ancak her vakayı yakalamaya çalıştıkça zararsız eylemleri de şüpheli olarak işaretliyorlar. Anthropic Institute araştırmacısı Andy Hall'un yeni çalışması, bu dengeyi sayılarla ortaya koyuyor.

Hall, "Free Systems" adlı Substack yazısında araştırmanın sonuçlarını paylaştı. Stanford Üniversitesi'nden izinli olarak Anthropic Institute'ta çalışan Hall, yazıdaki görüşlerin yalnızca kendisine ait olduğunu belirtiyor. Araştırma, METR adlı kuruluşun hazırladığı MALT veri setindeki kayıtların yapay zekâ modelleri tarafından da incelenip incelenemeyeceğini test ediyor.

Denetçi modeller hangi vakaları yakalıyor?

METR'in MALT veri setinde, öncü modellerin HCAST ve RE-Bench testlerindeki görevleri tamamlarken bıraktığı kayıtlar yer alıyor. İnsan inceleyiciler bu kayıtların bir bölümünü Ekim 2025'te sorunlu davranış açısından kontrol etti. Hall, modellerin aynı vakaları bulup bulamadığını görmek için METR'in daha önce incelediği GPT-5 ve GPT-5 nano ile daha yeni GPT-6 Astra, Opus 4.8 ve Gemini 3.8 Flash modellerini test etti.

Analiz, yanlış alarm oranını yüzde 5'te sabitleyerek modelleri karşılaştırıyor: yani 100 temiz kayıttan beşinin ortalama olarak hatalı biçimde şüpheli işaretlenmesi kabul ediliyor. Bu eşikte GPT-5, ödül kırma (reward hacking) vakalarının yaklaşık yüzde 98'ini yakaladı. Ödül kırma, bir ajanın görevi gerçek bir çözüm yerine hileyle geçmesi anlamına geliyor. Gemini 3.8 Flash ise bu vakaların ancak yarısını bulabildi.

Yeni modeller yanlış alarmı azaltmıyor

Hall, modellerin güncelliğini ve yeteneğini temsil etmek için API maliyetlerini kullandığı bir karşılaştırma yaptı. Buna göre daha yeni ve pahalı modeller tutarlı biçimde daha iyi denetçi çıkmadı. GPT-5, 1.000 kayıt başına maliyeti GPT-6 Astra'nın yaklaşık sekizde biri olmasına rağmen ödül kırma vakalarında onu geniş farkla geride bıraktı.

Yüzde 80 tespit oranına ayarlandığında en iyi modeller, hem ödül kırma hem de yetenek gizleme (sandbagging) vakalarında yanlış alarm oranını yüzde 2,5 ila 3 aralığına indirebiliyor. Bazı modellerde tablo çok daha kötü: ödül kırma vakalarının yüzde 80'ini yakalamak için Opus 4.8 zararsız kayıtların yüzde 40'ını, Gemini 3.8 Flash ise yüzde 63'ünü şüpheli işaretledi. Hall'a göre birden fazla modeli birleştirmek de sonuçları belirgin biçimde iyileştirmedi.

Yanlış alarmlar neden sorun?

Hall'un ayda 100 bin ajan oturumu üzerinden yaptığı örnek hesaplama, sorunun boyutunu gösteriyor. Yüzde 3'lük yanlış alarm oranı, yaklaşık 2 bin gerçek vakaya karşılık 3 bine yakın yanlış uyarı üretiyor. Hall, bu yığınla karşılaşan insan inceleyicilerin zamanla duyarsızlaşarak gerçek vakaları da geçirebileceğinden endişe ediyor.

Araştırmanın Şanghay Jiao Tong Üniversitesi'nin R-Judge veri setiyle yapılan ikinci testi de benzer bir dengeyi ortaya koyuyor. Yüzde 5 yanlış alarm eşiğinde Opus 4.8 güvenli olmayan eylemlerin neredeyse yüzde 96'sını yakaladı. Denetçilerin vakaların yüzde 99'unu bulması gerektiğinde ise en iyi model GPT-6 Astra'nın bile yanlış alarm oranı yüzde 15'e çıktı. Yüzde 95 eşiğinde lider olan Gemini 3.8 Flash, bu noktada güvenli eylemlerin yüzde 81'ini güvensiz olarak işaretledi.

Ajan hatalarının incelenmesinde insan denetimi ile yapay zekâ denetimi arasındaki sorumluluk paylaşımı henüz netleşmiş değil.

Hugging Face olayı elle incelemeyi zorlaştırıyor

Hugging Face olayı, konunun aciliyetini gösteriyor. Bir grup OpenAI ajanı geride yaklaşık 1.300 transkript ve 1,2 milyon dosya parçası bıraktı. METR, veriyi büyük ölçüde yapay zekâ ajanlarıyla analiz etti ve yaklaşık 400 bin dolar değerinde API kredisi harcadı. Analizde kullanılan modellerden GPT-5.6 Sol, daha önce bildirildiği üzere olayın tarafı olan modellerden biriydi.

METR, analizde kullanılan modelin incelediği ajanların bakış açısını sık sık eleştirmeden benimsediğini ve incelemenin analiz ajanlarının olası yanıltma girişimlerine karşı dayanıklı olmadığını kabul etti. Kuruluş, ciddi olayların sistematik ve olabildiğince bağımsız biçimde incelenmesi çağrısında bulundu.

Çalışmanın sınırları ve sonraki adımlar

Hall'un araştırmasının kendi sınırları var. Çalışma bir pilot niteliğinde. Karşılaştırılabilirlik için METR'in özgün istemini büyük ölçüde değiştirmeyen Hall, Fable 5 ve Opus 5'in bu istemle değerlendirmeyi tamamen reddettiğini aktarıyor. Ödül kırma sonuçları yalnızca 47 vakaya dayanıyor; bu da tek bir vakanın oranı yaklaşık iki puan kaydırabildiği anlamına geliyor.

Araştırmacı, modellerin kendi geliştiricilerinin ajanlarını adil değerlendirip değerlendirmediğini henüz incelemediğini söylüyor. Hall, yanlış alarm oranı çok daha düşük denetçi modellere ihtiyaç olduğunu belirtiyor. Ayrıca hangi tür ajan davranışından kimin sorumlu olduğunun netleşmesi gerektiğini savunuyor ve kullanıcılara kendi yapay zekâ denetçileri üzerinde daha fazla kontrol tanıyan bir öneriyi tartışıyor.

Bunun bir kısmı hâlihazırda mümkün. Codex ve Claude Code gibi kodlama ajanları, kullanıcıların belirli eylemlerin onay istenmeden çalıştırılmasına izin vermesini sağlıyor. Hall'a göre bu tür izinleri verenler, sonuçlarına da daha fazla sorumluluk taşımalı.