CloudOpsBench: Yapay zeka ajanları bulut görevlerinde neden başarısız oluyor?

Michigan Üniversitesi'nde Ang Chen liderliğindeki ekibin geliştirdiği CloudOpsBench adlı açık kaynaklı test seti, yapay zeka ajanlarının bulut ortamlarındaki tipik DevOps görevlerinde ne kadar başarılı olduğunu ölçüyor. 1.0 sürümü, AWS üzerinde çalışan 45 görevden oluşuyor ve deneyimli DevOps mühendisleri tarafından hazırlandı.

Sonuçlar, en güçlü modellerin bile görevlerin önemli bir bölümünde tıkandığını gösteriyor. Claude Fable 5.1 görevlerin yüzde 60'ını çözerken, GPT-6 Astra yüzde 53'te kaldı.

CloudOpsBench yapay zeka ajanlarını nasıl test ediyor?

Test setindeki görevler, bulut operasyonlarında sık karşılaşılan işleri kapsıyor: bozuk servisleri onarmak, kaynakları kaldırmak, erişim yetkilerini kısıtlamak, güncelleme yayınlamak ve projeleri devre dışı bırakmak. Tüm görevler hem gerçek AWS bulutunda hem de bir emülatörde birebir aynı biçimde çalıştırılıyor.

Ekibin planları arasında Google Cloud (GCP), Microsoft Azure ve Oracle Cloud (OCI) için genişletmeler de var. Proje GitHub üzerinde Apache 2.0 lisansıyla yayınlandı; ayrıntılı bir hata analizi de erişime açık.

Modeller neden başarısız oluyor?

Araştırmacılara göre temel sorun, modellerin alan bilgisinden yoksun olması değil. Başarısızlıkların yaklaşık yüzde 80'i muhakeme kaynaklı: ajanlar bir görevin kapsamını yanlış değerlendiriyor, ilgili tüm servisleri kontrol etmiyor ya da işi tamamlamadan erken duruyor.

Hataların yaklaşık yüzde 20'si ise yanlış eylemlerden oluşuyor. Bu eylemlerin bir kısmı altyapıda geri döndürülemez sonuçlara yol açabiliyor.

Bulut operasyonlarında neden önemli?

Bulut altyapısı yönetimi, yanlış bir adımın hizmet kesintisine ya da veri kaybına yol açabildiği bir alan. Bu nedenle yapay zeka ajanlarının görevleri ezberle değil, doğru muhakemeyle tamamlaması gerekiyor. CloudOpsBench, farklı modellerin bu tür görevlerdeki performansını ortak bir ölçekte karşılaştırmaya olanak tanıyor.

Test setinin şu an yalnızca AWS görevlerini kapsaması ve diğer bulut sağlayıcılarına yönelik genişletmelerin henüz plan aşamasında olması, sonuçların kapsamını sınırlıyor. Türkiye'deki geliştiriciler ve bulut ekipleri de projeyi GitHub üzerinden indirip kendi ortamlarında inceleyebilir.