Nvidia, Nemotron ailesini genişletti: Ajan sistemleri için yeni açık modeller

Nvidia, sürekli açık kalan yapay zekâ ajanları için özelleştirilebilir Nemotron 3.5 Super VL dil modellerini ve yerel sistemlere odaklanan Nemotron 3.5 Bolt serisini kullanıma sunduğunu açıkladı. Şirkete göre üç yeni model, büyük kurumsal sunuculardan uç cihazlara ve yerel donanıma kadar ajan dağıtımlarının tamamını kapsıyor.

Nvidia, açık modellerin ağırlıklarını herkesin erişimine açarak kurumların modelleri kendi verileriyle yeniden eğitip kendi altyapılarında çalıştırabilmesine imkân tanıyor.

Nemotron 3.5 Super VL neler yapabiliyor?

Nemotron 3.5 Super VL, açık frontier seviyesinde modeller geliştiren model üreticileri ve yapay zekâ laboratuvarlarından oluşan Nemotron Coalition işbirliğiyle geliştirilen 120 milyar parametreli bir model. Yüksek doğruluk gerektiren çok modlu ajan görevleri için tasarlanan model; talimat takibi, araç kullanımı, çok adımlı iş akışları ve görsel anlama yeteneklerine sahip.

Nvidia'ya göre model, şirketin en büyük akıl yürütme modelleriyle karşılaştırılabilir gücü beşte biri boyutunda sunuyor. Bu boyut ve yeni mimari sayesinde Super VL, aynı sınıftaki diğer modellere kıyasla yaklaşık beş kat daha hızlı çıktı üretiyor.

Şirket, modeli açık veri ve açık yöntemlerle eğitti. Ön eğitim ve devam eden ön eğitim boyunca yaklaşık 26 trilyon token kullanıldı; ayrıca 3,8 milyon eğitim sonrası örnek ve 100 açık ortamda pekiştirmeli öğrenme ile model ince ayardan geçirildi. Nvidia, ajan tabanlı araç kullanımı, finans, talimat takibi, uzun bağlam, güvenlik, adalet ve görsel-dil anlama alanlarını kapsayan açık veri setlerini Hugging Face üzerinde yayımladığını da duyurdu.

Bolt modelleri yerel cihazlarda nasıl çalışıyor?

Bolt 74B-A9B 24GB, Super VL temel alınarak geliştirilen ve ajan görevlerini yerel olarak çalıştırmak üzere tasarlanan daha küçük bir model. 74 milyar parametresinin 9 milyarını aynı anda etkinleştiren karma uzman karışımı (mixture-of-experts) mimarisini kullanan model, iki bitlik niceleme sayesinde 24 gigabayt belleğe sığıyor. Böylece kurumsal bir iş istasyonunda ya da PC ekran kartlarında rahatça çalışabiliyor; kullanıcılar kod yazma ve hata ayıklama gibi günlük işlerini buluta göndermeden yerel olarak yapabiliyor.

Nvidia, bu ay içinde daha da küçük bir model olan Bolt E4B 4GB'ı da piyasaya sürecek. GeForce RTX, Jetson ve RTX/GTX Spark üzerinde uç cihaz dağıtımı için geliştirilen bu model; giyilebilir cihazlar, ev aletleri, satış noktası sistemleri, araç gösterge panelleri, cihaz asistanları ve diğer gömülü arayüzlerde fiziksel yapay zekâ ve konuşma ajanlarının çalışmasına olanak tanıyacak. Şirket, modelin etkileşimli karakterleri, konuşma arayüzlerini ve yerelleştirme ya da kişiselleştirme yapan akıllı kullanıcı arayüzlerini destekleyebileceğini belirtti.

Neden önemli?

Nvidia, açık ağırlıklı model sunduğunu vurgulayarak kurumların bu modeli güvenlik duvarının arkasında, kendi alan adları içinde çalıştırabilmesine dikkat çekiyor. Şirkete göre bu yaklaşım veri egemenliği, gizlilik ve güvenlik ihtiyaçlarını karşılıyor. Kapalı frontier modellerden farklı olarak ağırlıkların açık paylaşılması, kuruluşların modeli kendi verileriyle sonradan eğitmesine ve kendi altyapısında dağıtmasına izin veriyor.

Yeni modellerin Türkiye'de ne zaman kullanıma açılacağı henüz açıklanmadı. Bolt E4B 4GB modelinin bu ay içinde çıkması bekleniyor.