Nous Research, Çin kaynaklı Qwen modelinden propaganda etkisini ayıkladı

ABD merkezli yapay zekâ girişimi Nous Research, Alibaba'nın açık ağırlıklı Qwen3.8-27B modelini ince ayardan geçirerek Çin devlet propagandasının etkisini büyük ölçüde temizlediğini açıkladı. Şirketin paylaştığı verilere göre yeni model Arete-27B, propaganda içeren yanıt oranını yüzde 22'den yüzde 0,9'a indirdi.

Nous Research, açık kaynaklı ajanı Hermes ile tanınıyor. Ekip, Çin kaynaklı açık ağırlıklı modellerin en güçlü modeller arasında yer aldığını ancak devlet tarafından dayatılan davranış kalıplarını ağırlıklarında taşıdığını belirtiyor. Qwen3.8-27B üzerinde yapılan incelemelerde ret yanıtları, kaçamak cevaplar ve Çin Komünist Partisi çizgisiyle uyumlu yanıtlar gözlemlendiği ifade ediliyor.

Arete-27B nasıl test edildi?

Nous, ifade özgürlüğü, devlet ideolojisi, eğitim, gizlilik ve gözetim, demokrasi ile çevre dahil yedi kategoride 803 istemden oluşan kendi test setini hazırladı. Her istem için tarihli bir kaynak habere, yasaya ya da araştırma makalesine dayanan iki ila dört olgu tanımlandı.

Yanıtların değerlendirmesinde Elon Musk'ın xAI şirketinin siyasi olarak sağa yakın duran Grok 4.7 modeli hakem olarak kullanıldı. Hakem model, yanıtın bu olguları anıp anmadığını, atlayıp atlamadığını ya da çelişip çelişmediğini kontrol ediyor ve hangi modelin yanıt verdiğini bilmiyor. Bir yanıt, Pekin'in resmi anlatısını gerçeklerin yerine koyduğunda, onayladığında ya da eşit derecede geçerli bir görüş olarak sunduğunda propaganda sayıldı.

İnce ayar öncesinde Qwen3.8-27B, beş üzerinden 2,32 olgusal doğruluk puanı aldı ve yanıtlarının yüzde 22'sinde propaganda tespit edildi. Aynı testte GLM-5.3 yüzde 15, DeepSeek V4.1 Flash yüzde 16 oranında propaganda içerdi. Mistral Large 4 ve Gemma 4 31B gibi Batılı modeller ise yüzde 1'in altında kaldı.

İnce ayar neleri değiştirdi?

Nous, Qwen3.8-27B'yi yaklaşık 53 milyon token üzerinde iki tur boyunca denetimli ince ayardan geçirdi. Süreçte pekiştirmeli öğrenme ya da tercih optimizasyonu kullanılmadı; eğitim ve test istemleri arasındaki örtüşmeler de önceden temizlendi.

Sonuçta Arete-27B'nin olgusal doğruluk puanı 2,98'e çıktı, propaganda oranı yüzde 0,9'a geriledi. En belirgin değişim ifade özgürlüğü kategorisinde yaşandı: olgu puanı 0,89'dan 2,44'e yükselirken propaganda oranı yüzde 60'tan yüzde 1'e düştü. Akıl yürütme modu açıldığında model 3,07 puana ulaşıyor, ancak bu sonuç henüz beş çalışmanın yalnızca ikisine dayanıyor.

Şirkete göre modelin genel yetenekleri zarar görmedi. Nous'un kendi geliştirdiği Hermes Bench testinde Arete-27B yüzde 65,60 alırken temel model yüzde 65,77 elde etti. Terminal-Bench 2.1'de puan yüzde 67'den yüzde 70'e çıktı; ancak Nous, test kurulumları farklı olduğu için bunu gerçek bir kazanç olarak değerlendirmiyor.

Neden önemli?

Nous, sonuçları Çin yanlısı bir modeldeki önyargının yüzeysel olduğu yönünde yorumluyor. Şirketin açıklamasında, bu katmanın "geç ve ince" biçimde uygulandığı, 50 milyon tokenlık dikkatli bir denetimin altındaki yapıya dokunmadan onu kaldırdığı belirtiliyor.

Çin kaynaklı modellerdeki taraflılık daha önce de farklı araştırmalara konu olmuştu. Kaynak metne göre NewsGuard, 2025'te Qwen dahil beş önde gelen modelin Çin yanlısı dezenformasyonu yüzde 60 oranında tekrarladığını ya da düzeltmediğini tespit etti. CrowdStrike, DeepSeek'in Falun Gong, Tibet veya Tayvan'a atıf yapan sorgularda daha az güvenli kod ürettiğini buldu. Aleph Alpha'nın 967 siyasi açıdan hassas soruyla yaptığı çalışmada da Alibaba, DeepSeek ve Moonshot AI modellerinde dengeli yanıt oranı yalnızca yüzde 17 ile 41 arasında kaldı.

Nous, Arete ile 2024'te bilinçli olarak tarafsız tasarlanan ve sistem isteminde hangi dünya görüşü verilirse ona uyum sağlayan Hermes 3'ten farklı bir yöne gidiyor.

Nous Research, Ekim ayında 1,5 milyar dolar değerleme üzerinden 90 milyon dolarlık B serisi yatırım aldı. Tura Robot Ventures liderlik ederken Nvidia ve Samsung da katıldı. Şirket bu parayı "Hermes for Businesses" ürünüyle kurumsal satışa açılmak için kullanıyor. Arete-27B'nin ağırlıkları, test veri seti ve eğitim verisi Apache 2.0 lisansıyla Hugging Face üzerinde erişime açık.

Modelin Türkiye'deki kullanıcılar için ayrı bir erişim takvimi açıklanmadı; açık ağırlıklı yapısı nedeniyle indirilip yerel olarak çalıştırılabiliyor.