NVIDIA, yerel sesli ajanlar için küçük dil modeli Nemotron 3.5 Bolt E4B'yi yayımladı

NVIDIA, hızlı konuşma ajanları için geliştirdiği açık küçük dil modeli Nemotron 3.5 Bolt E4B'yi yayımladı. Model, RTX, Jetson ve Spark donanımında yerel olarak çalışacak sesli asistanlar, oyun karakterleri ve robot arayüzleri hedefliyor.

Şirketin paylaştığı bilgilere göre model, Google'ın Gemma 4 E4B modeli üzerine yalnızca pekiştirmeli öğrenmeyle (RL) eğitildi. 8 milyar toplam ve 4 milyar etkin parametreye sahip modelin bağlam penceresi 64K. NVIDIA testlerinde Q4_K_M sürümü RTX kartlarda 3,1 ile 4,3 GB arası VRAM kullandı; bu da geliştiricilere konuşma ve görüntü modelleri için alan bırakıyor.

Nemotron 3.5 Bolt E4B neler yapabiliyor?

Model, doğal diyalogu çok turlu araç çağırma ile birleştiriyor. NVIDIA üç hedef iş yükü sıralıyor: cihaz ve sesli asistanlar, etkileşimli karakterler ile gömülü ve endüstriyel ajanlar. Araştırma raporunda, Jetson Orin Nano 8GB üzerinde çalışan bir Reachy Mini robotu yer alıyor; demolarda görüntü işini Cosmos 3 Edge üstlenirken Bolt konuşma yanıtlarını ve araç çağrılarını yönetiyor.

Duyuruya göre modelde eşzamansız araç çağrıları için yönlendirme, kısa ve konuşmaya hazır yanıtlar üreten bir conversational_mode bayrağı, yapılandırılabilir akıl yürütme ve gecikmeyi sınırlayan bir düşünme bütçesi bulunuyor.

Eğitimde neden denetimli ince ayar atlandı?

NVIDIA, denetimli ince ayarı (SFT) tamamen atladı. Araştırma raporuna göre SFT araç çağırmayı iyileştirse de Gemma'nın diyalog kalitesini ve söz uzunluğunu olumsuz etkiledi. Bunun yerine ekip, NeMo-RL ve NeMo-Gym üzerinden RLVR ve RLHF kullandı. Her eğitim örneği hem akıl yürütmeli hem akıl yürütmesiz modda çalıştırıldı ve partilerde akıl yürütmesiz örneklerin oranı 2:1 olarak korundu. Veri setleri ve eğitim tarifi kamuya açık.

Dağıtım için BF16 kontrol noktası, önem matrisi kalibrasyonuyla Q4_K_M'ye nicemlendi. Kalibrasyonda yaklaşık 1 milyon token'lık RL çıktısı kullanıldı. Sürümde ayrıca spekülatif kod çözme için bir DFlash taslağı yer alıyor. NVIDIA ölçümlerine göre RTX 5070'te Bolt, DFlash ile saniyede 272,6 token'a ulaşırken Gemma 4 E4B kendi MTP taslağıyla 225,9 token'da kaldı; bu da Bolt'u 1,21 kat daha hızlı yapıyor.

Kıyaslamalarda nerede öne çıkıyor, nerede geride kalıyor?

NVIDIA, 21 kıyaslamayı 5 yetenek alanında grupladı. Tüm skorlar şirketin kendi NeMo-Gym düzeneğinde BF16 ile ölçüldü. Akıl yürütme modunda Bolt, 21 satırın 15'inde lider çıktı ve şirket, Nemotron 3 Nano 4B'ye göre ortalama yaklaşık yüzde 40 daha yüksek skor bildirdi.

En güçlü sonuç IHEval'de 84,8 puan; Gemma 4 E4B 67,0, Qwen3.5-4B ise 60,6 alıyor. En zayıf nokta ise Tau2-Bench'te 55,1 puan: Qwen3.5-4B 75,1 ile yaklaşık 20 puan önde. Aynı model RULER 64K (95,1'e 87,0), LongBench v2 (59,9'a 50,5) ve BFCL-v3 (70,9'a 68,5) testlerinde de Bolt'un önünde. Gemma 4 E4B ise EQ-Bench v3'te 41,1 ile 39,4'e karşı az farkla üstün.

Hangi donanımda çalışıyor ve nereden indirilebilir?

NVIDIA ölçümleri GeForce RTX, Jetson, RTX Spark ve DGX Spark donanımlarında, llama.cpp ile 1'lik parti boyutunda yapıldı. "4GB" etiketi dosya boyutunu değil hedeflenen bellek aralığını anlatıyor; Hugging Face'teki Q4_K_M GGUF dosyası 6,18 GB. Model ayrıca Ollama, LM Studio, Unsloth ve Jetson AI Lab üzerinden sunuluyor; NVIDIA NIM ve In-Game Inferencing SDK içinde de yer alıyor.

Neden önemli?

Bolt, büyük bulut modellerine bağlanmadan çalışan yerel sesli ve etkileşimli ajanlar için düşük bellek kullanımını öne çıkarıyor. Bu yaklaşım, gecikme ve gizlilik konusunda bulut bağımlılığından kaçınmak isteyen gömülü sistem ve oyun geliştiricileri için anlamlı. Açık ağırlıklar, veri setleri ve eğitim tarifinin OpenMDW-1.1 lisansıyla paylaşılması da modelin incelenmesine ve uyarlanmasına olanak tanıyor. Türkiye'deki geliştiricilerin modele erişimiyle ilgili ayrı bir duyuru yapılmadı.

Sonraki adım ne?

NVIDIA, teknik raporu, GGUF ve BF16 model dosyalarını ve eğitim tarifini kamuya açtı. Şirketin modelin ilerideki sürümleri için bir takvim paylaşıp paylaşmayacağı henüz bilinmiyor.