Red Hat ve Nvidia, otonom yapay zekâ ajanlarını güvenceye almak için iş birliğini genişletti

Red Hat ve Nvidia, kurumların otonom yapay zekâ ajanlarını güvenceye almasına, yapay zekâ modellerine erişimi yönetmesine ve iş yüklerini Nvidia'nın yeni nesil Vera Rubin veri merkezi altyapısında çalıştırmasına yardımcı olmak için iş birliğini genişlettiğini açıkladı. Duyuru, Nvidia'nın Berlin'deki GTC etkinliğinde yapıldı.

Şirketlerin açıklamasına göre güncellemelerin merkezinde, ajan çalışma zamanı kontrollerini, model çıkarım yazılımını ve donanım desteğini hibrit bulut ortamlarında bir araya getiren Red Hat AI Factory with Nvidia çözümü yer alıyor. Red Hat ayrıca Nvidia'nın OpenShell Referans Mimarisi'ni platformlarına yerel bir yetenek olarak entegre etmek için çalıştığını bildirdi.

Otonom ajanlar hangi risklere karşı korunuyor?

Güvenlik yaklaşımı iki riski hedefliyor: ajanların yetkili sınırlarının dışına çıkması ve saldırganların istem enjeksiyonu ya da tedarik zinciri saldırıları gibi yöntemlerle ajanları ele geçirmesi. Şirketler, güvenlik kontrollerini ajanın ve uygun olduğu durumlarda ana bilgisayar işletim sisteminin de dışına yerleştirmeyi amaçlıyor.

Nvidia kurumsal yazılımdan sorumlu başkan yardımcısı John Fanelli, yaptığı açıklamada "Bir ajan kendi sınırlarını uygulamamalı" dedi ve bu kontrollerin ajanın dışında, çalışma zamanında ve altındaki altyapıda yer alması gerektiğini belirtti.

OpenShell, ajanlar için bir sandbox, yani sınırlandırılmış bir çalışma ortamı sunuyor. Bu yazılım katmanının altında Nvidia'nın Sentry güvenlik çerçevesi, şirketin BlueField veri işleme birimlerinde çalışıyor ve DOCA Argus yazılımıyla iş yüklerini ayrı bir donanım güvenlik alanından izliyor.

Red Hat'in teknik blog yazısına göre Argus, ana bilgisayar üzerinde izleme yazılımı gerektirmeden belirli bellek yapılarını inceleyerek süreçleri, dosyaları ve ağ etkinliğini gözlemliyor. Entegre güvenlik sistemi, bu uyarıları kullanarak etkilenen iş yükünü izole eden BlueField politikalarını tetikleyebiliyor.

Mimari neye dayanıyor ve ne kazandırıyor?

Mimari, Red Hat OpenShift 4.22'deki mevcut BlueField-3 desteğinin üzerine kurulu. Sunucu işlemcilerinde çalışan yapay zekâ iş yüklerini, BlueField'ın Arm işlemcilerinde çalışan ağ ve güvenlik hizmetlerinden ayırıyor. Ana bilgisayar erişimini kısıtlayacak şekilde yapılandırıldığında bu ayrım, saldırgan ana bilgisayarı ele geçirse bile altyapı kontrollerinin korunmasına yardımcı oluyor.

Red Hat'e göre Sentry, ele geçirilmiş bir ajanı milisaniyeler içinde karantinaya alabiliyor. İzleme ve ağ işlevlerinin veri işleme birimine taşınması, ana bilgisayar işlemcileri üzerindeki yükü de azaltarak yapay zekâ iş yüklerine daha fazla kapasite bırakıyor.

Model erişimi ve çıkarım tarafında neler var?

İş birliği, ajanların akıl yürütmek ve eyleme geçmek için ihtiyaç duyduğu model altyapısını da kapsıyor. Ortak referans tasarımı, Model-as-a-Service erişim kontrollerini ve bir AI Gateway'i vLLM, llm-d, Nvidia Dynamo ve Nvidia NIM mikroservisleri gibi çıkarım teknolojileriyle birleştiriyor.

Nvidia'nın Inference Hub referans tasarımına dayanan bu yapı; kendi kendine model keşfi, erişim politikaları, hız sınırları ve abonelik yetkilendirme takibini destekliyor. Erişim yönetiminin model yürütmeden ayrılması, kurumların hibrit ortamlarda kotaları yönetmesine, maliyetleri ilişkilendirmesine ve performansı korumasına yardımcı olmayı amaçlıyor.

Şirketler ayrıca Nemotron 3.5 Super VL dahil Nvidia Nemotron modelleri için vLLM çıkarım ve sunum motorunda ve Red Hat AI Factory with Nvidia çözümünde ortak destek duyurdu. Red Hat, çıkarım gecikmesini doğruluktan ödün vermeden azaltmayı hedefleyen niceleme ve spekülatif kod çözme tekniklerine dikkat çekti.

Vera Rubin donanımı ve erişim

Donanım tarafında Red Hat, Nvidia için Enterprise Linux sürümünün artık Vera işlemcilerini desteklediğini ve Vera Rubin platformuna hazır olduğunu bildirdi. Şirketler, yeni donanım kullanıma sunulduğunda işletim sistemi ve platform uyumluluğunu hedefliyor.

Şirketin işletim sistemi bloguna göre RHEL for Nvidia 26.03, yeni donanıma uyum sağlamak için sınırlı sayıda çekirdek pakette değişiklik yapıyor; standart RHEL kullanıcı alanını ve Security-Enhanced Linux dahil güvenlik kontrollerini koruyor. Donanım yamaları olgunlaşıp yukarı akış Linux çekirdeğine girdiğinde kullanıcılar yeniden kurulum yapmadan ana RHEL sürümüne geçebilecek.

Red Hat'e göre ortak kullanım senaryoları, referans tasarımları ve ajan yetenekleri Cisco, Dell Technologies ve Lenovo gibi iş ortakları üzerinden sunuluyor; OpenShell'in yerel entegrasyonu üzerindeki çalışmalar ise sürüyor.

Kurumlar için neden önemli?

Otonom ajanlar, kurumsal sistemlerde giderek daha fazla görev üstleniyor ve bu durum ajanların hangi sınırlar içinde hareket edebileceği sorusunu öne çıkarıyor. Red Hat ve Nvidia, güvenlik kontrollerini ajanın kendi içinden altyapı katmanına taşıyarak kurumların bu araçları daha geniş yetkilerle kullanmasının önünü açmayı hedefliyor.

Şirketler, çözümlerin Türkiye'de ne zaman kullanıma sunulacağına ilişkin bir takvim paylaşmadı. Açıklamada yer alan erişim bilgileri yalnızca Cisco, Dell Technologies ve Lenovo iş ortakları üzerinden sunumu kapsıyor.