Mirendil, 10 milyon token bağlam pencereli ilk modeli Fern 0.1'i duyurdu

Yapay zekâ araştırma laboratuvarı Mirendil, yazılım geliştirme odaklı ilk modeli Fern 0.1'i kullanıma sundu. Şirketin duyurusuna göre model, 10 milyon tokena kadar bağlam penceresiyle çalışıyor; bu da yaklaşık 23 MB ya da yarım milyon satırlık kodu tek seferde işleyebilmesi anlamına geliyor.

Mirendil Fern, genel amaçlı sohbet yerine yapay zekâ araştırma ve geliştirme işlerine yöneliyor. Fern 0.1, sıfırdan eğitilen Mirendil-Base modelinin kısa bir eğitim sonrası süreçten geçirilmesiyle hazırlandı. Şirket, modelin 0,1 ile 0,5 trilyon parametre aralığında olduğunu belirtiyor ancak kesin parametre sayısını ve aktif parametreleri açıklamıyor.

Model neler yapabiliyor?

Mirendil, Fern için altı kullanım alanı sıralıyor: büyük kod tabanlarında çalışmak, testler geçene kadar komut çalıştıran ajan tabanlı kodlama, eğitim döngüleri ve veri hatları gibi araştırma kodları yazmak, uzun günlükler ve yığın izlerinden eğitim koşularında hata ayıklamak, ajan ya da eğitim izlerini baştan sona okumak ve ön eğitim veri parçalarını yinelenen içerik, kirlenme ve gereksiz veri açısından denetlemek.

Şirket, 10 milyon tokenlık pencerenin Megatron-LM ölçeğinde bir kod tabanını aynı anda bağlamda tutmaya denk geldiğini belirtiyor. Geliştiriciler bu sayede bütün bir depoyu, tam bir eğitim günlüğünü ya da günlerce süren ajan izlerini tek seferde modele verebiliyor.

Mirendil Fern nasıl eğitildi?

Mirendil-Base'i şirkete göre tek bir araştırmacı 3,5 ayda ön eğitti. Deneyler, ajan token harcamaları ve veri işleme dahil toplam hesaplama maliyeti 10 milyon doların altında kaldı. Kodun yüzde 99'undan fazlasını yapay zekâ ajanları yazdı; araştırmacı neyin deneneceğine ve ne zaman müdahale edileceğine karar verdi.

Eğitim verisi yalnızca GitHub, kamuya açık kod, web sayfaları ve kamuya açık veri kümeleri gibi açık kaynaklardan geldi. Şirket damıtma, sentetik veri ve lisanslı veri kullanmadığını bildiriyor. Kod, PyTorch ve JAX üzerinde sıfırdan yazıldı.

Uzun bağlam gerçekten işe yarıyor mu?

Mirendil, kendi depolarını 42,9 MB'lık tek bir akışta birleştirerek sonraki token tahminini test etti ve bayt başına bit cinsinden çapraz entropi ölçtü; bu ölçümde düşük değer daha iyi sonuç anlamına geliyor. Fern'in kaybı 32K baytlık pencerede 0,246 iken 16 milyon ve 23 milyon baytta 0,155'e geriledi.

Karşılaştırmada diğer modeller yalnızca duyurdukları üst sınıra, yaklaşık 1 milyon tokena kadar puanlandı. 1 milyon baytlık pencerede Kimi-K3 0,140, Fern ise 0,165 skor aldı. Yani Fern eşit bağlamda en iyi tahmin edici değil; avantajı, eğrinin diğer modellerin durduğu yerin ötesinde de düşmeye devam etmesi.

Ajan testlerinde ve sıralamada nerede duruyor?

RULER uzun bağlam testinde Mirendil-Base, 32K ile 10 milyon token arasındaki her uzunlukta tek iğne erişiminde yüzde 100 doğruluk aldı. Çok adımlı akıl yürütme ise 10 milyon tokenda yüzde 45'e geriliyor. Şirket, 10 milyon tokenlık hücrelerin her birinde yalnızca 20 örnek kullanıldığını, diğer noktalarda bu sayının 100 olduğunu belirtiyor ve daha kapsamlı uzun bağlam sonuçlarının geleceğini söylüyor.

Ajan tabanlı kodlama testlerinde tablo daha karışık. Fern 0.1, beş testin dördünde Inkling ve Nemotron 3 Ultra'yı geçiyor; SWE-Pro v2 Hard testinde Beam ile 76,5 skorla berabere kalıyor. Ancak SWE-Bench Verified testinde Beam'in 81,6'sına karşı 73,4'te kalıyor. Terminal Bench 4.0'ta yüzde 6,1 alan model, Mirendil'in kendi tablosunda Claude Opus 5.5'in yüzde 66,4'lük skorunun oldukça gerisinde. Şirket, diğer modellerin skorlarını model kartlarından, liderlik tablolarından ya da kendi koşularından aldığını belirtiyor.

Neden önemli?

Fern, Mirendil'in planladığı üç modelin en küçüğü. Şirkete göre 0,5 ile 2 trilyon parametre aralığındaki Mirendil-Base-Large, ön eğitimin yüzde 80'inden fazlasını tamamladı; 2 ile 10 trilyon parametre aralığındaki Mirendil-Base-XL ise yüzde 20'yi geçti. Bu tablo, küçük bir ekibin ve yapay zekâ ajanlarının düşük maliyetle kendi modelini eğitip eğitemeyeceği tartışmasına somut bir örnek oluşturuyor.

Öte yandan model şu an yalnızca barındırılan erken erişimle sunuluyor; açık ağırlık ya da nicemlenmiş sürüm duyurulmadı. Bu da modelin kendi donanımında çalıştırmak isteyenler için henüz bir seçenek olmadığı anlamına geliyor. Türkiye'deki geliştiricilerin modele ne zaman ve nasıl erişebileceğine dair bir açıklama ise yapılmadı.

Mirendil, erken erişim başvurularını almaya devam ediyor ve daha geniş uzun bağlam sonuçlarını ilerleyen dönemde paylaşacağını bildiriyor.