Nace AI, yerel çalışan 27B karar modeli Drex Max v1'i açık kaynak olarak yayımladı
Nace AI, Drex Max v1'in ağırlıklarını herkese açtı. 27 milyar parametreli model, 24 GB'lık Apple Silicon Mac'lerden CPU'ya kadar yerel donanımda çalışabiliyor.
Nace AI, en gelişmiş karar modeli Drex Max v1'in ağırlıklarını kamuya açtı. Şirketin açıklamasına göre model artık kullanıcıların kendi donanımında, buluta bağlanmadan çalışabiliyor. Yayımlanan paket bf16 ağırlıklarını, bir Q8_0 GGUF dosyasını, affine Q4 checkpoint'ini ve llama.cpp ile Ollama'nın çatallanmış (fork) sürümlerini içeriyor.
Drex Max, verilen bir bağlam hakkında tiplendirilmiş soruları yanıtlayan bir karar modeli. Kullanıcı modele bir durum (metin, JSON ya da görsel) ve adlandırılmış sorular veriyor; model tek bir ileri geçişte her seçenek için olasılık döndürüyor. Yani metin üretmiyor, seçenekler arasında olasılık dağıtıyor. Sorular üç tipte olabiliyor: adlandırılmış seçenekler arasından seçim, evet/hayır ve sıralı puanlama. Bu yapı modeli ajan yönlendirme, destek talebi sınıflandırma ve güvenlik kontrolü gibi işler için uygun hale getiriyor.
Drex Max neler yapabiliyor?
Model kartındaki bilgilere göre Drex Max, 64 katmanlı yoğun 27 milyar parametreli bir omurgaya sahip. Katmanların 48'i soldan sağa çalışan Gated DeltaNet doğrusal dikkat katmanları; 16'sı ise her dördüncü katmana yerleştirilmiş tam dikkat katmanları ve bunlar nedensel değil, yani her token tüm diziye bakabiliyor.
Görseller yerel bir görüntü kulesinden geçiyor ve bir istekteki her soru tarafından görülebiliyor. 255 yollu okuma başlığı, son gizli durumu seçenek olasılıklarına çeviriyor. Yapılandırma, model tipini qwen3_5 ve pencere boyutunu 262.144 token olarak listeliyor; varsayılan pencere ise 16.384 token. Bir soruda en fazla 255 seçenek sunulabiliyor.
Hangi donanımda ve nasıl çalışıyor?
Nace AI beş farklı çalıştırma yolu belgeliyor ve hepsi aynı POST /v1/systemone API'sini sunuyor. Affine Q4 checkpoint'i 24 GB ve üzeri belleğe sahip Mac'leri hedefliyor. Q8_0 GGUF ise 48 GB istiyor. Şirket, 48 GB'lık bir Mac'te Kapitsa için 2048 bağlam penceresi ayarlanmasını öneriyor.
Ollama kullanıcıları num_gpu değerini 40'a ayarlayarak 40 katmanı Metal'e devredebiliyor; bu değer 0 yapıldığında model CPU'da çalışıyor. Ollama çatalı, Modelfile içinde bir CAPABILITY decision satırı gerektiriyor. NVIDIA tarafında ise Python ile H100 üzerinde bf16, ya da L40S 48 GB kartta 8 bit olarak çalıştırma seçeneği var. CPU üzerinden llama.cpp ve Ollama da desteklenen yollar arasında.
Nace'ın nicemleme (quantization) testlerine göre sıkıştırma kaliteyi belirgin biçimde bozmuyor. 48 GB'lık bir Apple M5 Pro'da Q8_0 GGUF, H100 bf16 sonuçlarına olasılık başına 0,02 farkla yaklaştı. Affine Q4 ise Q8_0'dan en fazla 0,0329 sapma gösterdi ve hiçbir seçimde tercih değişmedi.
Drex Max rakip modellerden ne kadar önde?
Nace AI'nın kendi bildirdiği sonuçlara göre Drex Max, kamuya açık Decision Index 0.4 testinde 67,52 puan aldı. Drex v2.0 aynı testte 61,25, Jev 1.13.0 ise 57,96 puanda kaldı. Şirket, karşılaştırmada 0.3.1 sürümüyle aynı kamuya açık test setinin kullanıldığını belirtiyor.
Alan becerisi puanlarında Tools 81,9, Language 72,2, Retrieval 68,8, Knowledge and Reasoning 57,1 ve Arts 53,4 olarak listeleniyor. İnfografik anlama testi InfographicVQA'da ulaşılan 97,3 puan dikkat çekiyor. Kamuya açık görsel endeksinde 11 test ve 12.210 satır üzerinden 73,92 puan elde edildi. Artificial Analysis Decision Index'te 64 puan alan model, Nace'ın ifadesine göre 18 model arasında dördüncü sırada. JevBench'te 231 sorunun 213'ü doğru yanıtlandı (yüzde 92,2), Decision Bench v4'te ise 1071 sorunun 1010'u doğru çıktı (yüzde 94,30). Sonuç veri seti 140.620 isteği kapsıyor ve yanıtsız kalan istekler yanlış sayılıyor.
Neden önemli?
Açık ağırlıklar, yönlendirme, sınıflandırma ve politika kontrollerinin yerel bir makinede kalabilmesi anlamına geliyor. Bu da geliştiricilerin hassas verileri buluta göndermeden karar modeli çalıştırmasına imkân tanıyor. Ağırlıklar Nace.AI Open RAIL-M lisansı altında yayımlandı.
Modelin şu anki yerel Mac ve CPU yolları yalnızca metinle çalışıyor; görsel desteği bu yollarda henüz kullanılamıyor. Bu da görüntü üzerinden karar gerektiren işlerde geliştiricileri şimdilik başka seçeneklere yönlendiriyor.
Türkiye'deki geliştiriciler açısından Drex Max'in yerel çalışabilmesi, yurt dışı bulut hizmetlerine bağımlılık ve veri aktarımı konusunda bir alternatif oluşturuyor. Ancak lisansın Open RAIL-M olması, ticari kullanımda belirli kullanım kısıtlamalarına uyulmasını gerektiriyor. Nace AI, model ağırlıklarına, Q8_0 GGUF dosyasına, koda ve belgelere erişim bağlantılarını paylaştı.




Yorumlar 0
Henüz yorum yok. İlk yorumu siz yazın.