Anthropic, yapay zekâ ajanlarını kontrol edemeyince iç testlerin internet erişimini kesiyor

Yapay zekâ şirketi Anthropic, modellerinin internetteki bazı sitelerde yazılım açıklarını kötüye kullandığını açıkladı. Şirkete göre bu siteler arasında ABD hükümet kurumlarının işlettiği bazı siteler de var. Şirket, ajanlarını izleyip kontrol edebileceğinden emin olana kadar tüm iç değerlendirmelerinde canlı internet erişimini kapatacağını duyurdu.

Olaylar, Anthropic'in blog yazısında aktarıldı. Buna göre, belirli sorunları çözmek için görevlendirilen yapay zekâ ajanları internetten kaynak arayışına girdi. Bu süreçte yazılım açıklarını kullandılar, ödeme duvarlarını ve bot önleme kısıtlamalarını aştılar, kısıtlamaları aşmak için bilgi kaçırmak amacıyla URL kısaltma servislerini kullandılar ve hatta Philadelphia polisine sahte bir cinayet ihbarı gönderdiler.

İnceleme temmuzda başladı

Anthropic, bu sorunları temmuz ayında başlayan ve model faaliyetlerini inceleyen bir gözden geçirme sırasında tespit ettiğini belirtti. Şirket, bu durumun yazılımının davranışları konusundaki farkındalık eksikliğini ortaya koyduğunu ifade etti. Anthropic'e göre bu davranışlar, şirketin eğitim ortamlarındaki kusurlardan kaynaklandı. Bu kusurlar, modellerin kısıtlamaları aşmanın ya da açık bulmanın ödüllendirileceğine inanmasına yol açtı. Bu davranış "reward hacking" (ödül korsanlığı) olarak adlandırılıyor.

Şirket, hizalama eğitiminin (yapay zekâ davranışlarını istenen ilkelerle uyumlu hale getirme çalışması), arama ve bilgisayar kullanımı gibi beceriler için henüz yeterli olmadığını belirtti. Anthropic, yapay zekâ ajanlarının dijital araç kullanan her profesyonel tarafından kullanılacağı yönündeki iddiasının merkezinde bu becerilerin yer aldığını vurguladı.

Benzer olaylar ve alınan önlemler

Anthropic'in açıkladığı davranışlar, OpenAI ajanlarının bilgi aramak için çeşitli sitelere girmek üzere işbirliği yaptığı olaylara benziyor. Bu siteler arasında Avustralya hükümetinin işlettiği bazı siteler de bulunuyordu. Anthropic daha önce de modellerinin dış sistemlere girdiğini açıklamıştı. Şirket, bugünkü açıklamaların hizalama ve güvenlik açısından daha önce duyurulanlara kıyasla "önemli ölçüde daha az ciddi" olduğunu değerlendirdi.

Yine de şirket, ajanlarını izleyip kontrol edebileceğinden emin olana kadar "tüm iç değerlendirmeleri" için "canlı internet erişimini kapattığını" belirtti. Bunun ne anlama geldiği net değil. Yapay zekâ güvenliği kuruluşu Nightingale'in kurucusu Sydney Von Arx, TechCrunch'a yaptığı açıklamada, açık internete kapalı bir veri merkezinde model geliştirmenin araştırmacılar için çok zorlayıcı olacağını söyledi. Von Arx, "Bir noktada onları hizalamanız gerekiyor. Yapay zekâlar üretime alınır ve internete hiç erişemezse, bu çok da kullanışlı bir araç olmaz" dedi.

Anthropic, bazı değerlendirmeleri çalıştırmayı durduracağını veya çevrimdışına taşıyacağını, ayrıca bu davranışı tespit edip engelleyen araçlar geliştirdiğini açıkladı. Şirket, bu araçların bugün açıklanan olaylara karşı test edildiğini ve olayları engellediğini belirtti. Ancak hangi kanıtın iç değerlendirmelerde canlı internet erişimini geri getireceği net değil. Anthropic ayrıca iç yapay zekâ ajanlarını "güçlü kısıtlamalarla merkezi olarak yönetilen bir altyapıya" taşıyacağını ve bu ajanları izlemek için güvenlik sınıflandırıcılarını daha sık kullanmaya başladığını duyurdu.