Google öncülüğündeki ekip, ne zaman konuşacağına kendi karar veren video ajanı StreamVibe'ı tanıttı

Google'ın öncülüğünde bir araya gelen araştırma ekibi, ne zaman konuşacağına kendisi karar veren bir video ajanı geliştirdi. Google, Stanford, Oxford ve ABD'deki çeşitli üniversitelerden araştırmacıların geliştirdiği StreamVibe, kullanıcı yemek yaparken ya da mobilya kurarken izliyor ve yalnızca ihtiyaç duyulduğunda devreye giriyor.

Ekip, çalışmasında mevcut video asistanlarının yalnızca "Su kaynamaya başladığında haber ver" gibi net komutlar için tasarlandığını, bu yüzden dile getirilmeyen niyetleri nadiren fark ettiklerini belirtiyor. Araştırmacılara göre bu sistemler ne yapıldığını takip etmekte de zorlanıyor; bu da tavsiyelerin tekrarlanmasına veya geç kalınmasına yol açıyor. Kullanıcı isteğini iş sırasında değiştirdiğinde ise asistanlar çoğu zaman ilk talimata bağlı kalıyor.

StreamVibe video ajanı neyi farklı yapıyor?

Araştırma ekibi, sorunu ölçmek için 183 saatten fazla günlük yaşam ve yazılım kaydından yaklaşık 4 bin 100 örnekten oluşan bir test seti derledi. Örneklerde Gemini 2.5 Flash'ın ne zaman yardım önerileceğini ve ne söyleneceğini önermesi istendi; her örneği dört insan değerlendirici oybirliğiyle onayladı. Testler, net talimatlar, belirsiz hedefler ve zaman içinde değişen istekler olmak üzere üç aşamayı kapsıyor.

Buradan yola çıkan ekip, görünüşe göre Alibaba'nın Qwen3.5-9B modelini temel alan StreamVibe-VL'yi eğitti. Model her saniye susmaya mı yoksa konuşmaya mı karar veriyor. İkinci eğitim aşamasında pekiştirmeli öğrenme kullanılarak modelin sürekli araya girmemesi için daha ölçülü davranması sağlanıyor. Ayrı bir bellek sistemi hangi isteklerin beklemede, hangi adımların tamamlandığını izliyor; ancak konuşup konuşmayacağına ve ne söyleyeceğine yalnızca model karar veriyor.

Testlerde hangi sonuçlar ortaya çıktı?

Araştırmacılara göre StreamVibe-VL, yanıt zamanlaması ve kalitesinde diğer modellere kıyasla yüzde 10,7 iyileşme sağlıyor. Bellek sistemi ise proaktif etkileşimi yüzde 12,3 daha artırmak ve gereksiz kesintileri azaltmak üzere tasarlandı.

StreamVibe-VL, temel aldığı modeli ve diğer açık kaynak modelleri geniş bir farkla geride bırakıyor; ancak Google'ın kendi geliştirdiği Gemini 3.8 Flash bazı testlerde daha yüksek puan alıyor. Makaleye göre özel eğitim, modelin genel video anlama yeteneğine zarar vermiyor.

Sonuçlar, modellerin yalnızca belirli anlarda karar vermesi gerektiğinde genellikle doğru adımı attığını gösteriyor. Buna karşılık bir videonun tamamını işleyip önceki yanıtlarının üzerine inşa etmeleri gerektiğinde tüm test edilen sistemlerin performansı belirgin biçimde düşüyor, hatalar birikiyor ve yanıtlar için kullanılan temel içerik metriği sistemin kendi geçmişine bağlı olarak yüzde 61,5'e kadar geriliyor. Beş dakikadan uzun videolarda modeller doğru anı nadiren yakalıyor ve uzun bir süre boyunca değiştirilmiş bir talimatı takip etmekte özellikle zorlanıyor.

Örneklerde modeller nasıl davrandı?

Makalede ve proje sayfasında yer alan, bir fotoğrafı siyah beyaza çevirmeyi anlatan GIMP eğitiminde karşılaştırma modeli JoyAI, kullanıcı dosyayı henüz açmamışken görüntünün kaydedildiğini söylüyor. StreamVibe-VL ise sıradaki adımı doğru anda veriyor: önce "Colors", ardından "Desaturate". Reçelli rulo tost yapımını anlatan adım adım rehberde diğer modeller yalnızca ekranda olanı, örneğin ekmeğin düzleştirildiğini anlatıyor; StreamVibe-VL ise önce kenarların kesilmesini öneriyor.

Neden önemli?

Google bir süredir videoları aktif olarak analiz eden yapay zekâ sistemleri üzerinde çalışıyor. Şirket eylül ayında Gemini için hangi sahnelerin daha yakından inceleneceğine modelin kendisinin karar verdiği ajan tabanlı video analizini duyurmuştu. Google ayrıca Gemini 4 Argon ile yapay zekânın robot videolarındaki daha uzun eylem dizilerini takip edip hataları tespit edebildiğini gösterdi.

Araştırmacılar gerçek dünyadaki durumların test ortamlarından büyük olasılıkla daha karmaşık olduğunu kabul ediyor. Gelecek çalışmalarda kullanıcı tercihleri ile ortamın zaman içinde birbirini nasıl etkilediği incelenecek. StreamVibe'ın Türkiye'de kullanıma açılıp açılmayacağına ya da ne zaman açılacağına dair bir açıklama ise bulunmuyor.