Hugging Face, Granite Switch 4.1 modellerini tek uç noktada sundu

Hugging Face, sohbet, karar verme ve konuşma tanıma görevlerini tek bir uç noktada birleştiren Granite Switch 4.1 modellerini duyurdu. Şirketin blog yazısına göre 8B ve 30B parametreli iki sürüm, temel modelin tek başına kullandığı GPU belleğine yakın bir VRAM ile birden fazla yeteneği aynı anda sunuyor.

Yeni modeller, bir temel Granite modeli ile üç ayrı teknolojinin birleştirilmesiyle oluşturuluyor: genel amaçlı karar verme için yeni bir Decision aLoRA, güvenlik kararlarında uzmanlaşan bir Guardian aLoRA ve transkripsiyon görevleri için gömülü Granite-Speech-5.0-Turbo-CTC. Hugging Face'e göre bu birleşim, daha az GPU ile daha fazla yetenek anlamına geliyor.

Granite Switch 4.1 neler yapabiliyor?

Şirketin paylaştığı bilgilere göre Granite-Switch-4.1-8B tek bir uç noktada ses transkripsiyonu yapabiliyor, özet üretebiliyor, zararlı içerik taraması gerçekleştiriyor ve 15'ten fazla genel bayrağı test edebiliyor. Tüm bu işlemler gerçek zamanlı olarak çalışıyor.

Modellerin karar verme yeteneği, önceki Granite Libraries sürümünde yer alan uzmanlaşmış adaptörlere dayanıyor. Hugging Face, Jev gibi kapalı karar modellerinin genellik üzerine odaklandığını, ancak kendi uzmanlaşmış granitelib adaptörlerinin birçok özel sınıflandırma görevinde genel amaçlı modelleri geride bıraktığını belirtiyor. Adaptörler temel modelin KV önbelleğini paylaştığı için, genel bir karar adaptörünün yanına uzman eklemek neredeyse hiç ek maliyet getirmiyor.

Jev-27B ile karşılaştırma nasıl sonuçlandı?

Hugging Face'in aktardığı bir karşılaştırmada, dondurulmuş Granite temeli ile 4 uzmanlaşmış aLoRA'dan oluşan Granite-Switch-4.1-30B, dondurulmuş Qwen temeli ile tek bir genel karar LoRA'sı kullanan Jev-27B ile yarıştırıldı. Şirkete göre Granite-Switch-4.1-30B, gerçek dünyaya dayalı 5 adımlı bir RAG iş akışını rakibinden çok daha hızlı tamamladı.

Hugging Face, kendi 3B parametreli Granite Switch modelinin de Jev'e benzer şekilde Doom oyununda anlık kararlar alabildiğini, ancak saniyede 60-100 karara ulaştığını bildiriyor. Jev için açıklanan hız ise saniyede 10 karar. Şirkete göre bu Granite Switch modeli, oyun oynarken aynı zamanda anlatım yapabiliyor ve soruları yanıtlayabiliyor.

Kendi Granite Switch modelinizi oluşturabilirsiniz

Granite-Switch-4.1-8B ve 30B, önceden tanımlanmış bir adaptör setiyle "piller dahil" olarak yayımlandı. Ancak Hugging Face, kullanıcıların kendi Granite Switch modellerini oluşturabileceğini belirtiyor. Granite Libraries'teki adaptörler karıştırılıp eşleştirilerek ihtiyaca uygun modeller derlenebiliyor.

Şirket, Mellea'da adaptör eğitimi için bir Adapter SDK'yı da duyurmayı planlıyor. Bu adaptörler karar tabanlı iş akışlarını güçlendiren özel sınıflandırma adaptörleri ya da özel dil görevlerine yönelik adaptörler olabilecek. Hugging Face'e göre 3B parametreli bir Granite sürümüne özel adaptörler eklenerek klasik Doom oyunu oynatılabilir.

Neden önemli?

Granite Switch adaptörleri, önbellek verimli "Activated LoRA" yapısıyla geliştirildiği için temel modelin ürettiği KV önbelleği sonraki adaptör kararlarında yeniden kullanılabiliyor. Hugging Face'in vLLM'e yaptığı katkılar ve aynı konumda çalışan bir ASR kodlayıcısıyla birleştiğinde modeller, sohbet isteği, karar isteği ve sesli istek arasında hızlı geçiş yapabiliyor.

Şirket, topluluğun özel ve üçüncü taraf adaptörlerle Granite Switch modellerini genişletmesi için önemli bir fırsat gördüğünü belirtiyor. Başlangıç için Granite Switch model kartları, GitHub deposu ve önceki Granite Switch ile Granite Libraries sürümüne ilişkin blog yazısı paylaşıldı. Ayrıca kullanıcıların Colab üzerinde kendi aLoRA ve LoRA karşılaştırmalarını oluşturabileceği belirtiliyor.