Anthropic, uzun sohbetlerde gecikmeyi azaltan Message Threads özelliğini beta olarak açtı

Anthropic, Claude platformunda Message Threads adlı yeni özelliği herkese açık beta olarak kullanıma sundu. Şirketin paylaştığı bilgiye göre özellik, uzun sohbetlerde ilk yanıtın gelmesi için geçen süreyi kısaltmayı hedefliyor.

Bugüne kadar her API isteğinde konuşmanın tüm geçmişinin yeniden gönderilmesi gerekiyordu. Message Threads bu yaklaşımı değiştiriyor: yalnızca son mesajdan bu yana değişen kısım iletiliyor. Anthropic'e göre bu yöntem, 500 bin ile 1 milyon token arasındaki isteklerde ilk token süresini (time to first token) yaklaşık yüzde 35 azaltıyor.

Message Threads nedir, ne işe yarıyor?

İlk token süresi, bir modelin isteği aldıktan sonra yanıtın ilk parçasını üretmesine kadar geçen zamanı ifade ediyor. Sohbet uzadıkça bu süre artabiliyor. Message Threads, konuşma geçmişinin her seferinde baştan gönderilmesini önleyerek bu gecikmeyi düşürüyor.

Anthropic'e göre özellikten en çok kodlama ajanları, bilgisayar kullanan ajanlar ve çok sayıda belge ya da görüntü işleyen iş akışları yararlanıyor.

Token kullanımı ve veri güvenliği nasıl etkileniyor?

Şirketin açıklamasına göre token kullanımında bir değişiklik olmuyor; çünkü Claude konuşmanın tam geçmişini okumaya devam ediyor. Yani kazanç, aktarılan veri miktarında değil, isteğin hazırlanma biçiminde ortaya çıkıyor.

Konuşma dizisi, istekler arasında bellekte şifreli olarak tutuluyor ve 5 dakika boyunca işlem yapılmazsa sona eriyor.

Nerede kullanılabiliyor?

Message Threads, Claude platformunun yanı sıra AWS, Microsoft Foundry ve Google Cloud üzerinden de kullanılabiliyor. Ayrıntılar Anthropic'in dokümantasyonunda yer alıyor.

Neden önemli?

Uzun konuşmalarla çalışan ajanlar ve belge işleme akışları, yanıt süresinin uzamasından en çok etkilenen kullanım alanları arasında. İlk token süresindeki düşüş, bu tür uygulamalarda kullanıcı deneyimini doğrudan etkileyebilir. Özellik şu an beta aşamasında; Türkiye'deki kullanıcılar için ayrı bir erişim takvimi açıklanmadı.