PyTorch 2.15, Mac'te MPS ile MoE modellerini 6,5 kata kadar hızlandırdı

Hugging Face bünyesindeki PyTorch ekibi, Apple Silicon Mac'lerde PyTorch modeli çalıştırma ve eğitmeyi hızlandırmayı amaçlayan MPS backend için PyTorch 2.15 sürümünü yayımladı. Şirketin blog yazısına göre yeni sürüm, mixture-of-experts (MoE) dil modellerinde token üretimini 2.14'e kıyasla 5 ile 6,5 kat arasında hızlandırıyor; video kod çözmede bellek tüketimi ise 270 GiB'den yaklaşık 8 GiB'e düşüyor.

Ekibin verdiği örneklere göre M3 Ultra üzerinde torch.compile ile çalıştırılan Qwen3.6-35B-A3B modeli saniyede 9,4 token'dan 61,3 token'a, LFM2.5-8B-A1B ise 23,6'dan 123,6 token'a çıkıyor. Hızlanmanın arkasında GPU üzerinde çalışan yerel grouped matmul, daha az GPU-CPU senkronizasyonu ve hızlandırılmış top-k yönlendirmesi var.

PyTorch 2.15 MPS ile hangi modeller hızlanıyor?

Blog yazısına göre hız kazancı yalnızca MoE katmanlarıyla sınırlı değil. Tek satırlık girişlerde kullanılan lineer katmanlar artık özel matris-vektör çekirdeklerine bağlanıyor; gerçek modellerden alınan 96 BF16 katman şekli üzerinde ölçülen hızlanma geometrik ortalama olarak 1,23 kat. En büyük kazanç, MoE modellerindeki geçit projeksiyonları gibi küçük katmanlarda elde ediliyor.

Token örneklemede kullanılan softmax da hızlandı. [1, 128256] boyutundaki bir logit satırında FP32 softmax süresi 57 mikrosaniyeden 7 mikrosaniyeye iniyor; bu yaklaşık 8 katlık bir kazanç anlamına geliyor. Ekibe göre bu iyileşme diğer yaygın sözlük boyutlarında da geçerli.

Video üretiminde bellek ihtiyacı neden düştü?

Sürümün en dikkat çekici sonuçlarından biri, sabit dolgu (padding) değişikliğinden geliyor. Wan-AI/Wan2.2-TI2V-5B-Diffusers modelinin VAE kod çözme adımı, 28 karoluk tam bir çözümde 8 bin 764 dolgu çağrısı yapıyor. Dolgu işlemleri Metal üzerinde çalıştığında tepe sürücü belleği yaklaşık 270 GiB'den 8 GiB'e geriliyor.

Aynı düzeltme, Qwen-Image-2.1 modelinde MPS üzerinde sessizce bozulan görsel düzenleme akışını da onarıyor. ComfyUI'de bildirilen sorunun ardından yapılan değişiklikle kodlama-kod çözme turu CPU sonucuyla 29,95 dB PSNR değerinde eşleşiyor; bu oran önce 10,06 dB seviyesindeydi.

Mac'te FP8 desteği ne sağlıyor?

PyTorch 2.15, MPS üzerinde torch.float8_e4m3fn tensörlerini desteklemeye başlıyor. Her değer bir bayt yer kaplıyor, yani FP16 veya BF16'nın yarısı kadar bellek kullanıyor. Bu tensörler F.scaled_mm ile doğrudan GPU üzerinde çarpılabiliyor; fonksiyon hem tensör bazlı hem de satır bazlı ölçeklemeyi destekliyor.

Lineer cebir, eğitim ve diğer yenilikler

Karmaşık tensörlerle çalışan kullanıcılar için complex64 LU ayrıştırması, LU çözümü ve üçgensel çözüm artık MPS üzerinde çalışıyor. Kamera geometrisi ve görüntü dönüşümlerinde sık kullanılan 4 × 4'e kadar FP32 matris yığınları tek bir Metal çekirdeğinde tersleniyor. QR ayrıştırması bloklu güncellemeler kullanıyor, SVD ise sayısal uçlarda daha güvenilir sonuç veriyor.

Sürüm ayrıca torch.frexp, torch.logspace, torch.take ve Tensor.put_, torch.heaviside, Laguerre polinomları ve işaretsiz tam sayı karşılaştırmaları gibi işlemleri MPS'e taşıyor. Python tarafında torch.mps.Stream ve torch.mps.stream bağlam yöneticisiyle hangi MPS akışının kullanılacağı seçilebiliyor.

Neden önemli?

Hugging Face ekibi, 2026'nın başında Mac'te küçük modelleri bile MPS üzerinde çalıştırmanın desteklenmeyen işlemler, performans düşüşleri ve beklenmedik bellek büyümesi anlamına geldiğini belirtiyor. Yeni sürüm, bu sorunları PyTorch'un kendisinde çözmeyi ve MPSGraph bağımlılığını kademeli olarak kaldırmayı hedefliyor. Mac'te transformers, diffusers veya ComfyUI gibi araçlarla model çalıştıran kullanıcılar bu değişikliklerden doğrudan etkileniyor.

Yeni sürüm için macOS 15 ve Python 3.11 ya da üzeri gerekiyor. İşletim sistemi eskiyse veya Metal destekli bir GPU yoksa MPS uygunluk kontrolü artık nedenini bildiriyor. Türkiye'deki kullanıcılar için ayrı bir duyuru yapılmadı; sürüm, PyTorch'un genel dağıtım kanalları üzerinden erişilebilir durumda.

PyTorch 2.16'da neler bekleniyor?

Ekibe göre 2.16 üzerindeki çalışmalar sürüyor ve bir kısmı gecelik (nightly) sürümlerde yer alıyor. Planlanan değişiklikler arasında komut tamponunun her 16 çekirdekte bir gönderilmesi, scaled dot-product attention'ın tamamen Metal üzerinde çalışması ve MPSGraph'tan Metal'e geçişlerin sürmesi var. M5 Pro üzerinde yapılan ölçümde, grup sorgu dikkatiyle kod çözme 465 mikrosaniyeden 65 mikrosaniyeye iniyor. Bu bilgiler sürüm çıkmadan önce değişebilir.