Stanford araştırması: LLM'ler hakkındaki iddiaların yüzde 44'ü kısa sürede geçersizleşiyor

Stanford Üniversitesi'nden araştırmacılar Owen Queen ve James Zou, büyük dil modelleri (LLM) hakkında yaygın olarak atıf alan 50 iddiayı 20 model üzerinde test etti. Sonuçlara göre bu iddiaların yüzde 44'ü geçerliliğini yitirmiş durumda. Tahmini son kullanma tarihi bulunan 22 bulgunun ortalama ömrü ise yalnızca 15,7 ay oldu.

Queen ve Zou, iddiaları Temmuz 2024 ile Eylül 2026 arasında sekiz farklı geliştirici tarafından yayımlanan modellerle sınadı. Araştırmacıların paylaştığı verilere göre süresi dolan bulguların arkasındaki etki büyük ölçüde ortadan kalkmış durumda. Bulguların yüzde 34'ü belirgin biçimde zayıflarken yalnızca yüzde 16'sı hâlâ geçerli; yüzde 6'sı ise güçlenmiş durumda. Bir yıl sonunda iddiaların yüzde 16'sı, iki yıl sonunda ise yüzde 39'u geçerliliğini yitirmişti.

Hangi iddialar en hızlı geçersizleşiyor?

Çalışmaya göre modellerin neleri yapamadığına dair iddialar en hızlı eskimeye mahkûm. Muhakemeyle ilgili dokuz bulgunun beşi geçersiz sayılıyor; bunların hiçbiri geçerliliğini korumamış ya da güçlenmemiş. Bu bulgular arasında "strawberry" kelimesindeki harfleri sayma, alışılmadık sayı sistemlerinde aritmetik, uzun bağlamlarda ortadaki bilgiyi kaçırma ve kullanıcı itiraz ettiğinde doğru yanıttan vazgeçme gibi bilinen zayıflıklar yer alıyor. Araştırmacılar, bu tür hataların "doğru" bir sonucu olduğunu ve geliştiricilere eğitim için net bir hedef sunduğunu düşünüyor.

Tercihler ve eğilimlere ilişkin iddialar ise daha uzun ömürlü çıkıyor. Geçerliliğini koruyan ya da güçlenen 11 bulgunun üçü, LLM'lerin değerlendirici olarak davranışıyla ilgili: modeller kendi yanıtlarını tercih ediyor, kabul edilen ve reddedilen makalelere benzer puanlar veriyor ve tıbbi özetlerdeki dilsel yönlendirmelerden etkileniyor. Üç bulgu da modellerin kullanıcıya yaltaklanma ve onaylama eğilimine işaret ediyor. Ayrıca sola eğilimli siyasi önyargı, açık uçlu sorulara neredeyse aynı yanıtlar ve rastgele sayı üretiminde eşit olmayan dağılım da süren bulgular arasında.

Atıf uydurma oranı sıfıra düştü mü?

Queen ve Zou, bilimsel kaynak uydurmayı örnek olay olarak inceledi. Walters ve Wilder'ın 2023 tarihli çalışmasında GPT-3.5, referanslarının yüzde 55'ini uydurmuştu. Stanford araştırmacıları aynı istemleri güncel modellere gönderdi. GPT-6.1 Sol yüzde 0, Claude Sonnet 5.5 ise yüzde 1 oranında atıf uydurdu. Ancak yine 2026 modeli olan Qwen3.7-Flash, aynı testte referanslarının yüzde 69'unu uydurdu.

Çalışma, bu sonuçların "durum temiz" şeklinde okunmaması konusunda uyarıyor. Bir modelin iki bilinen olguyu birleştirmesi gereken iki adımlı sorularda Claude Sonnet 5.5, her iki soruyu da doğru yanıtladığı durumların yaklaşık yüzde 10'unda hâlâ başarısız oluyor. Orijinal makalede ChatGPT için bu oran yüzde 43 olarak bildirilmişti. "Tersine Çevirme Laneti" ve zamanla ilgili eşleştirilmiş sorulara verilen çelişkili yanıtlar da zayıflamış olsa da hâlâ tespit edilebiliyor.

Araştırmacılara göre sosyal önyargılarda tablo karışık. Sola eğilimli siyasi önyargı sürerken toplumsal cinsiyet kalıp yargıları ve örtük çağrışım önyargıları zayıflamış durumda. Afrika kökenli Amerikan İngilizcesi konuşanlara yönelik önyargılar ise eğilim verilerinde yön değiştirmiş.

Aynı dönemde çıkan modeller arasında bile büyük fark var

Sonuçlar, aynı yayım aralığında çıkan modeller arasında bile önemli ölçüde değişiyor. Temmuz-Eylül 2026 arasında yayımlanan modeller arasında geçersizleşen bulgu sayısı DeepSeek V4 Pro için 11 iken GPT-6.1 Sol için 30'a çıkıyor. Yayım tarihi, geliştirici ya da model boyutu bu örüntüyü güvenilir biçimde öngörmüyor.

Queen ve Zou buradan geniş bir sonuç çıkarıyor: LLM'ler hakkındaki ampirik bulgular genel doğrular olarak değil, belirli bir anda belirli modellere ilişkin gözlemler olarak sunulmalı. Makaleler modeli, sürümü ve tarihi belgelemeli; istemleri ve analiz kodlarını yayımlayarak bulguların gelecekteki modellerde yeniden test edilebilmesini sağlamalı.

Neden önemli?

Araştırmacılar, OpenAI'nin kurucu ortaklarından olan ve sonradan Anthropic'e katılan Andrej Karpathy'nin bir paylaşımına atıf yapıyor. Karpathy bu paylaşımda LLM'lerin gerçek davranışına ilişkin algı boşluklarının yapay zekâya duyulan güveni ve kullanım sıklığını nasıl etkilediğini anlatıyor. Karpathy ayrıca mevcut modellerin gelecekteki yeteneklerin yalnızca bir önizlemesi olduğunu söylemişti.

Bulgular, modellerin yeteneklerine ilişkin kamuya açık tartışmaların hızla eskiyebileceğini gösteriyor. Türkiye'deki kullanıcılar ve geliştiriciler için de bir modelin belirli bir sürümüne dair deneyimlerin genellenmemesi gerektiği anlamına geliyor.