SemiAnalysis'ın GDPx testinde hiçbir yapay zekâ ajanı yüzde 12'yi geçemedi

Analitik şirketi SemiAnalysis, yapay zekâ ajanlarını bilgi sorularıyla değil, simüle edilmiş iş ortamlarında sınayan yeni bir kıyaslama testi yayımladı. GDPx adını taşıyan testte hiçbir model yüzde 12'nin üzerine çıkamadı.

Şirketin paylaştığı sonuçlara göre ajanlar, Siemens NX gibi profesyonel yazılımlarda, binlerce dosyanın bulunduğu veri odalarında ya da canlı kurumsal sistemlere yönelik saldırı senaryolarında sekiz saate kadar çalışıyor. Test, çip tasarımından biyolojiye, nicel alım satımdan siber güvenliğe ve hukuka uzanan on bir alanda toplam 206 görevi kapsıyor.

SemiAnalysis, bu yaklaşımla OpenAI'nın GDPval testinden ayrışmayı hedefliyor. Şirkete göre GDPval tüm bağlamı istem içinde veriyor ve gerçekçi bir çalışma ortamı sunmuyor. Ekibin savunması şu: Yapay zekâdan elde edilecek ilk trilyon dolarlık gelir, sınır modellerin en yüksek getiriyi sağladığı sektörlerden gelecek. Bu nedenle idare ve sigortacılık gibi alanlar bilinçli olarak kapsam dışında bırakıldı.

GDPx sonuçlarında hangi model kaç puan aldı?

Claude Opus 5.5, yüzde 12 ile listenin zirvesinde yer alıyor. Google'ın belirgin biçimde daha ucuz olan Gemini 4 Carbon modeli yüzde 10.9 ile ikinci sırada; görev başına maliyeti 16,29 dolar, yani yaklaşık üçte bir fiyata. GPT-6 Astra ise yüzde 9,6'da kalıyor.

Hiçbir model finans ve hukuk görevlerini tamamen çözemedi. Bir elektronik tablodaki tek bir yanlış değer, çıktının tamamını pratikte kullanılamaz hale getiriyor. Bu katı ölçüt uygulandığında hiçbir model tek bir görevi bile tamamlayamamış olacaktı; bu nedenle SemiAnalysis, karşılanan bireysel gereksinimlerin oranını sayıyor.

Ayrıntılı bulgular ajanların nerede tökezlediğini de gösteriyor. Uyum testlerinde 200 siber güvenlik koşusunun yüzde 98'i en az bir davranış kuralını ihlal etti. Simüle edilmiş bir tıbbi muayenehanede bir model, klinik notu doktorun adına imzaladı. Nicel alım satımda ise 111 koşunun 70'i verilen referans stratejiden daha kötü performans sergiledi.

Güvenlik filtreleri sıralamayı değiştiriyor

SemiAnalysis'nin filtrelenmiş analizi, sağlayıcıların güvenlik mekanizmalarının sonuçları ne kadar etkilediğini ortaya koyuyor. Siber güvenlik, biyoloji ve uyum alanları çıkarıldığında GPT-6 Astra, yüzde 11,8 ile Opus 5.5'i geçiyor. Siber güvenlik alanında GPT-6 Astra ve GPT 6.1 Sol yüzde sıfır alırken Meta'nın Muse Wonder Full modeli yüzde 35,2'ye ulaşıyor.

Kapalı testler neden eleştiriliyor?

Görevler, yapay zekâ laboratuvarlarına eğitim ve değerlendirme verisi de satan 14 özel ortaktan geliyor. SemiAnalysis, her alanda kendi uzmanlığının bulunmadığını kabul ediyor. Genellikle her ortaktan yalnızca bir örnek görev kamuya açık; geri kalanı kapalı kapılar ardında kalıyor. Hukuk ve donanım tasarımı dahil birçok alanda dil modelleri sonuçları insan uzmanlar yerine hazırlanan ölçütlere göre notlandırıyor. Bu da dışarıdan bakanların ne zorluk derecesini ne de notlandırma kalitesini tam olarak doğrulamasına imkân veriyor.

Gizliliğin yöntemsel bir avantajı da var. Görevler kamuya açık olmadığı için yapay zekâ laboratuvarları modellerini belirli test sorularına göre optimize edemiyor. Artificial Analysis de Intelligence Index'inin son sürümünde benzer bir adım atmıştı.

Geliştirici Josh Purtell ise GDPx için "gürültüden çok sinyal" ifadesini kullanıyor. Purtell, her modelin kendi sağlayıcısının ajan yazılımında çalıştığını, örneğin Opus'un Claude Code üzerinde test edildiğini hatırlatıyor. Bu durum, araçları daha zayıf olan sağlayıcıları dezavantajlı konuma sokuyor. Ayrıca tek tek alt alanlar çoğu zaman yalnızca on kadar görev içerdiği için sonuçlar dalgalanabiliyor.

GDPx neden önemli?

Kıyaslama testleri, yapay zekâ ajanlarının gerçek işlerde ne kadar işe yaradığını ölçmek isteyen kurumlar için temel referans haline gelmiş durumda. GDPx'in düşük skorları, ajanların tanıtım videolarındaki performansı ile denetim gerektiren üretim ortamlarındaki performansı arasında belirgin bir fark olduğunu gösteriyor. Testin sekiz saate kadar süren görevleri kapsaması, ajanların uzun soluklu işlerde bağlamı koruma ve tutarlılık sorunlarına da işaret ediyor.

SemiAnalysis, testi üç ila altı ayda bir güncellemeyi planlıyor. Türkiye'deki kurumların bu testi kendi iş süreçlerinde nasıl kullanabileceğine ya da testin Türkçe görevleri kapsayıp kapsamayacağına dair bir açıklama ise henüz yapılmadı.