Berkeley'in açık kaynaklı LEANN vektör indeksi 201 GB'lik RAG dizinini 6 GB'a indiriyor

UC Berkeley'deki Sky Computing Lab, vektör indekslerinin boyutunu küçültmeyi hedefleyen açık kaynaklı LEANN adlı vektör indeksini geliştirdi. Yöntem, gömme (embedding) vektörlerini diskte neredeyse hiç saklamıyor; vektörleri sorgu anında yeniden hesaplıyor. Projenin GitHub sayfasındaki karşılaştırmaya göre 60 milyon parçalık Wikipedia dizini 201 GB'tan 6 GB'a iniyor.

Araştırma ekibinin paylaştığı verilere göre LEANN, FAISS üzerine kurulu, yaklaşık en yakın komşu (ANN) araması yapan düşük depolamalı bir indeks. Makalede 76 GB'lık bir veri kümesinin gömme vektörleri 173 GB, HNSW grafiği ise 15 GB yer kaplıyor; yani indeks, indekslediği verinin iki katından fazla alan istiyor. LEANN bu tabloyu değiştirmeyi amaçlıyor.

LEANN aramayı yavaşlatmadan vektörleri nasıl yeniden hesaplıyor?

HNSW gibi grafik tabanlı indeksler her sorguda yalnızca küçük bir düğüm kümesini ziyaret ediyor. LEANN de bunu kullanıyor: grafiği ve sıkıştırılmış bir ürün niceleme (PQ) tablosunu saklıyor, sorgu anında sadece arama yolundaki düğümleri yeniden gömüyor.

Üç teknik bu yaklaşımı pratik hale getiriyor: iki aşamalı arama, önce ucuz PQ mesafeleriyle adayları sıralayıp yalnızca en iyi adayları tam olarak yeniden hesaplıyor. Dinamik toplu işleme, farklı adımlardan gelen adayları GPU verimliliği için örneğin 64'lük gruplar halinde bir araya getiriyor. Yüksek dereceyi koruyan budama ise çoğu düğümde az bağlantı bırakırken en üst yüzde 2'lik "merkez" düğümlerde daha fazla bağlantı tutuyor.

Ablasyon testlerinde iki aşamalı arama ortalama 1,4 kat hızlanma sağlıyor; toplu işleme eklenince bu oran 1,8 kata çıkıyor. Yine de gömme vektörlerinin yeniden hesaplanması sorgu gecikmesinin yaklaşık yüzde 76'sını oluşturuyor.

LEANN karşılaştırma testlerinde nasıl sonuç veriyor?

Araştırma ekibi NQ, TriviaQA, GPQA ve HotpotQA veri kümelerini 60 milyon pasajlık RPJ-Wiki veri deposu üzerinde test etti. Gecikme ölçümleri yüzde 90 Recall@3 seviyesinde alındı; tüm sonuçlar makalede ekip tarafından bildirildi.

NQ testinde, RTX 4090 üzerinde çalışan Qwen3-4B ile LEANN ve HNSW aynı yüzde 25,5'lik doğruluğa ulaşıyor. LEANN 4 GB depolama kullanırken HNSW 188 GB istiyor. BM25 yüzde 18,3, PQ sıkıştırma ise yüzde 17,9 doğruluk veriyor.

Bunun bedeli arama süresi oluyor. LEANN'de NQ araması 2,48 saniye sürerken HNSW'de bu süre 0,05 saniye. Metin üretimi yaklaşık 20 saniye aldığı için uçtan uca gecikme 20,95 saniyeden 23,34 saniyeye çıkıyor.

RTX 4090'daki testlerde LEANN araması veri kümesine göre 1,12 saniye (GPQA) ile 7,12 saniye (HotpotQA) arasında değişiyor. EdgeRAG'den esinlenen IVF tabanlı yeniden hesaplama temel çizgisi ise 200 kata kadar daha yavaş. LEANN, BM25'e kıyasla tam eşleşmeyi yüzde 11,8'e kadar artırıyor.

GitHub deposu kişisel verilerde de benzer tasarruflar bildiriyor: 400 bin sohbet mesajı 1,8 GB'tan 64 MB'a, 38 bin tarayıcı kaydı 130 MB'tan 6,4 MB'a iniyor.

Geliştiriciler LEANN'i nerede kullanabilir?

Depo; belgeler, Apple Mail, Chrome geçmişi, WeChat, iMessage ile ChatGPT ve Claude dışa aktarımları için hazır uygulamalar içeriyor. MCP okuyucuları Slack ve Twitter yer imlerinden canlı veri çekiyor. LEANN ayrıca Claude Code için anlamsal arama yapan bir MCP sunucusu olarak çalışıyor.

Ekip, ContextBench'teki 30 SWE-Bench Pro görevinde ilk ilgili kod yakalamada yüzde 24,2'ye ulaştığını, BM25'te bu oranın yüzde 11,4 olduğunu bildiriyor. Ajana göre ayrıca yüzde 8,4 daha az token kullanıldı.

Varsayılan arka uç HNSW; daha hızlı arama için DiskANN da mevcut. Metin üretimi Ollama, Hugging Face, Anthropic veya OpenAI uyumlu herhangi bir API ile çalışıyor. Kurulum Ubuntu, Arch, WSL, macOS ve Windows'ta destekleniyor; Apple Mail araması gibi bazı uygulamalar ise yalnızca macOS'ta çalışıyor.

LEANN, MIT lisansıyla yayımlandı ve makale MLSys 2026'da En İyi Araştırma Makalesi ödülünü aldı. Varsayılan gömme modeli 110 milyon parametreli Contriever.

Neden önemli?

Vektör indeksleri, indeksledikleri veriden büyük olabiliyor; bu da anlamsal arama ve RAG (getirmeyle güçlendirilmiş üretim) sistemlerini kişisel verilerde ve sınırlı depolama alanı olan makinelerde pahalı hale getiriyor. LEANN, depolamayı küçültmenin karşılığında arama süresinden ödün veriyor; yani hızın kritik olduğu uygulamalarda tercih edilmesi zor.

Makaledeki testler RTX 4090 ve 32 GB RAM'li bir makine ile M1 Ultra Mac üzerinde yapıldı. Yalnızca CPU ile çalışan bir Linux kurulumu da mevcut ancak ekibin yayımladığı bir CPU gecikme ölçümü bulunmuyor. Türkiye'deki kullanıcılar için ayrı bir erişim duyurusu yapılmadı; proje açık kaynak olduğu için kurulum doğrudan geliştiricilere açık.

LEANN'in koduna, PyPI paketine ve araştırma makalesine projenin GitHub sayfasından ulaşılabiliyor.