AWS, Amazon Bedrock'ta prompt caching ile ajan maliyetlerini yüzde 62'ye kadar düşürdüğünü açıkladı

Amazon Web Services (AWS), Amazon Bedrock üzerinden çalıştırılan OpenAI modellerinde prompt caching (komut önbellekleme) kullanımının yapay zekâ ajanlarının girdi maliyetini belirgin biçimde düşürebildiğini duyurdu. AWS Machine Learning Blog'da yayımlanan yazıya göre şirketin altı turluk test iş akışında GPT-6 Astra modeli, önbellekleme olmadan çalıştırılmasına kıyasla yaklaşık yüzde 62 daha düşük girdi maliyeti üretti.

Yazıda, yapay zekâ ajanlarının her adımda modele o ana kadarki tüm geçmişi yeniden göndermek zorunda olduğu hatırlatılıyor. Bir kodlama oturumunun 20. turunda modelin 1'den 19'a kadar olan tüm turları tekrar okuduğu ve bu tokenların her seferinde yeniden ücretlendirildiği belirtiliyor. Prompt caching, bu girdiyi saklayıp sonraki isteklerde girdi fiyatının çok altında bir bedelle yeniden kullanılmasını sağlıyor.

Prompt caching nasıl çalışıyor?

Modele gönderilen her komut, modelin çalışma durumunu oluşturan anahtar-değer (KV) vektörlerine dönüştürülüyor. Prompt caching bu durumu kaydediyor; sonraki istek aynı metinle başlıyorsa hizmet kayıtlı durumu yüklüyor ve yalnızca yeni eklenen kısmı işliyor. AWS, önbelleklemenin iki biçimini ayırıyor: Amazon Bedrock'un yeniden kullanılabilir önekin nerede bittiğini kendi seçtiği örtük (implicit) yöntem ve kodun bu sınırı prompt_cache_breakpoint ile işaretlediği açık (explicit) yöntem. Şirket, iki yaklaşımın birlikte kullanılmasını öneriyor.

Hangi tasarruf elde edildi?

Blog yazısında paylaşılan testte, yaklaşık 4.000 tokenlık araç ve talimat öneki açık önbelleklemede ilk istekte 4.120 token yazdı, sonraki isteklerde aynı 4.120 tokenı okudu. Altı turluk iş akışında örtük önbellekleme girdi maliyetini yaklaşık yüzde 62, açık yöntemle kayan kesme noktaları ise aynı modelde yaklaşık yüzde 61 azalttı. AWS, bunların belirli bir iş yüküne ait sonuçlar olduğunu ve her ajanın kendi tasarrufunu ölçmesi gerektiğini belirtiyor.

Dikkat edilmesi gereken kurallar

Önbelleğin çalışması için gönderilen metnin birebir aynı olması gerekiyor. Talimatların ve araç listelerinin her seferinde aynı biçimde serileştirilmesi, Model Context Protocol (MCP) sunucularının tutarlı biçimde indekslenmesi isteniyor. Tarih, kullanıcı adı ya da istek kimliği gibi değişken bilgilerin önbelleğe alınan talimatların ardına yerleştirilmesi gerekiyor. Yeniden kullanılabilir önekin en az 1.024 tokena ulaşması da bir koşul olarak belirtiliyor.

Araç listesi değiştiğinde de başlangıç listesinin sabit tutulması tavsiye ediliyor; tanım eklemek, çıkarmak veya sıralamayı değiştirmek önbelleğe alınmış öneki geçersiz kılabiliyor. Aynı araçların farklı adımlarda çağrıldığı durumlarda allowed_tools ile erişimin sınırlandırılması, oturum sırasında eklenen yeni araçlar için ise GPT-6 Astra, GPT-6.1 Sol ve GPT-5.6 Luna modellerinde kullanılabilen additional_tools alanının kullanılması öneriliyor.

Neden önemli?

Ajanlar konuşma uzadıkça aynı geçmişi modele tekrar tekrar göndermek zorunda kalıyor ve bu maliyet, uzun oturumlarda hızla büyüyor. AWS'nin paylaştığı veriler, önbelleklemenin bu tekrarın önüne geçerek girdi fiyatını ciddi ölçüde düşürebildiğini gösteriyor. Türkiye'deki geliştiriciler açısından ayrı bir duyuru yapılmadı; AWS, model ve bölge bazında erişilebilirliğin kendi desteklenen modeller sayfasından kontrol edilmesini öneriyor.