NVIDIA, etkileşimli dünya simülasyonu için dört yeni Cosmos 3 modelini açtı

NVIDIA, dünya modeli geliştirme platformu Cosmos'a dört yeni açık ağırlıklı model eklediğini duyurdu. Cosmos 3 ailesine katılan modeller, etkileşimli dünya simülasyonu ile çok sensörlü ve çok kameralı sürüş sahneleri üretmek için kullanılabiliyor. Şirketin blog yazısına göre dört model de 16 milyar eğitilebilir parametreye sahip ve Cosmos 3 Nano'nun eğitim sonrası sürümleri olarak paylaşıldı.

Yeni modeller OpenMDW1.1 lisansı altında yayımlandı; bu lisans, modelin şartlarına uyulması kaydıyla ticari ve ticari olmayan kullanıma izin veriyor. Ağırlıklar Hugging Face üzerinden indirilebiliyor; NVIDIA ayrıca bir teknik rapor ve demo videoları da yayımladı.

Dört yeni Cosmos 3 modeli ne yapıyor?

Modeller farklı görevlere odaklanıyor. Cosmos3-Nano-Transfer-Auto, farklı hava koşulları, aydınlatma ve günün saatlerine göre çok kameralı sürüş verisi üretiyor. Cosmos3-Nano-Sim-Auto, sürüş simülasyonu için senkronize kamera ve LiDAR gözlemlerini akış halinde sunuyor.

Cosmos3-Nano-Sim-Transfer, simülatör kontrollerini ve bir metin istemini fotogerçekçi videoya dönüştürüyor. Cosmos3-Nano-Sim-Bimanual ise robot ya da kamera eylemlerinden bir sonraki gözlemi tahmin ediyor; YAM ve AgiBot robot gövdeleri için iki kollu etkileşimli simülasyonu destekliyor.

Otonom sürüşte ne işe yarıyor?

NVIDIA'ya göre otonom sürüşte görünüm ile geometrinin birbiriyle tutarlı olması gerekiyor. Eşzamanlı kamera ve LiDAR üretimi, görsel gözlemleri 3B algılamayla birleştiriyor. Sahne ve trafik ışığı kontrolleri sayesinde araştırmacılar yol düzenlerini ve sinyal durumlarını değiştirip bir sürüş politikasının buna nasıl tepki verdiğini inceleyebiliyor.

Transfer-Auto, 11'e kadar kamera görüntüsünü (balık gözü lensler dahil) senkronize biçimde üretebiliyor ve RGB ile LiDAR verisini birlikte oluşturabiliyor. Modelde her kamera için tanımlanan Dünya Senaryo Haritası (WSM) kontrolleri sahne yapısını ve trafik hareketini belirlerken, metin istemleri görünümü yönlendiriyor. Geliştiriciler kendi sensör düzeneklerine uyarlamak için modeli kendi verileriyle yeniden eğitebiliyor.

Robotik tarafında neler sunuyor?

Sim-Bimanual, iki kollu bir robotun eylemlerine ortamın nasıl tepki verdiğini simüle ediyor. Model, bir politika ya da insan tarafından kullanılan joystick ile kontrol edilebiliyor. Kullanıcı bir görüntüyle başlıyor, robotu veya kamerayı hareket ettiriyor ve model bir sonraki gözlemleri üretiyor. Tek bir kontrol dizisi, bakış açısı değişiklikleri ile manipülasyon arasında geçiş yapabiliyor.

NVIDIA'nın aktardığı örnekte karma eylem dizisi 59 kontrol değeri kullanıyor ve eğitim sırasında 64'e tamamlanıyor. Şirket, modelin çalışması için Linux, bir NVIDIA grafik kartı, Docker ve NVIDIA Container Toolkit gerektiğini belirtiyor. Yayımlanan vLLM-Omni kurulumunun tek bir GB200 üzerinde test edildiği ifade ediliyor; şirket bunun bir asgari bellek şartı olmadığını vurguluyor.

Akış halinde üretim nasıl çalışıyor?

Cosmos 3'ün Mixture-of-Transformers omurgası, metin işleme ve görsel üretim ağlarını dikkat mekanizması üzerinden birbirine bağlıyor. Üretici, her kısa segmenti istem, mevcut kontroller ve üretilmiş geçmişe bakarak tahmin ediyor. Zamana bağlı nedensel dikkat, modelin mevcut geçmişi ve kontrolleri okumasına izin verirken gelecekteki hedef gözlemleri engelliyor. Anahtar/değer önbelleği ise sonraki tahmin için dikkat bilgisini saklıyor.

Eğitim süreci dört aşamada ilerliyor: çift yönlü uyarlama, öğretmen zorlaması, tutarlılık damıtması ve kendi kendini zorlama. Son aşama, hataların sonraki karelerde birikmesini önlemek için modeli kendi ürettiği geçmişle eğitiyor.

Neden önemli?

NVIDIA, modelleri açık ağırlıklar ve eğitim sonrası tariflerle paylaşarak araştırmacıların kendi sensör düzeneklerine ve robot gövdelerine uyarlayabileceği ortak bir başlangıç noktası sunmayı hedefliyor. Şirket, bu alandaki sorunların hâlâ zor olduğunu kabul ediyor: modellerin politika öğrenimini ve değerlendirmesini nerede sadakatle desteklediğini ölçmek, sınırlarını anlamak ve eksik kaldığı yerleri iyileştirmek gerekiyor.

Türkiye'deki geliştiricilerin modellere ne zaman erişebileceğine dair ayrı bir açıklama yapılmadı; ancak ağırlıklar Hugging Face üzerinden herkese açık olarak indirilebiliyor. NVIDIA, geliştiricilerin kendi verileriyle uyarlama yapabileceği tarifleri de teknik raporla birlikte paylaştı.