Ai2 ve Penn araştırmacıları, literatüre göre fikir geliştiren LitPivot aracını tanıttı

Allen Institute for AI (Ai2) ve Pennsylvania Üniversitesi'ndeki iş birlikçileriyle geliştirilen LitPivot, araştırmacıların erken aşamadaki fikirlerini literatüre göre değerlendirip yeniden şekillendirmesine yardımcı olan bir sistem olarak tanıtıldı. Araştırmacıların paylaştığı sonuçlara göre 17 kişilik çalışmada katılımcılar, LitPivot ile geliştirdikleri fikirleri bir metin editörü ve yapay zekâ sohbet aracıyla geliştirdiklerine kıyasla literatüre daha iyi dayandırılmış buldu. Sistem, 2026'da Detroit'te düzenlenecek UIST konferansında sunulacak.

LitPivot, Asta Paper Finder üzerinden getirilen makalelerle çalışıyor. Kullanıcı editörde kısa bir öneri yazıyor ve sistem bu metni problem, önerilen katkı ve değerlendirme planı gibi bölümlere ayırıyor. Kullanıcı bir bölümü seçtiğinde yan paneldeki ilgili makaleler bu bölüme göre gruplanıyor; araştırmacı makaleleri seçip değerlendirme istiyor ve eleştiriyi destekleyen alıntılarla birlikte önerilen revizyonu görüyor.

LitPivot araştırma fikrini nasıl değerlendiriyor?

Sistem, bir problem ifadesi için sorunun varlığına ve önemine dair kanıt arıyor. Önerilen katkıyı değerlendirirken seçilen makalelerin hâlihazırda neyi ele aldığını, belirttikleri sınırlılıklarla ve gelecek çalışmalarla karşılaştırıp kalan boşlukları tespit etmeye çalışıyor. Değerlendirme planında ise önerilen testlerin araştırma sorusunu karşılayıp karşılamadığını ve benzer çalışmaların nasıl değerlendirildiğini kontrol ediyor. Ardından destekleyici alıntılar eklenmiş bir yeniden yazım öneriyor.

Fikrin bir bölümündeki değişiklik diğer bölümleri güncelliğini yitirmiş bırakabiliyor. LitPivot bu durumda revizyon gerektirebilecek pasajları işaretliyor; örneğin değişen bir katkıyı artık yeterince değerlendirmeyen bir test planını gösteriyor. Araştırmacılar önerileri kabul edebiliyor, düzenleyebiliyor veya reddedebiliyor; öneri ilerledikçe yeni makale isteyebiliyor ya da literatür sıralamasını yenileyebiliyor.

Neden literatür kaynaklı yön değişiklikleri zor?

Ekip, dört tamamlanmış bilgisayar bilimi araştırma projesinin toplantı notlarını incelediğinde dört projede toplam 21 literatür kaynaklı yön değişikliği tespit etti. Bu değişiklikler iki türe ayrılıyordu: bir fikri mevcut çalışmalardan ayırarak özgünlüğünü ortaya koymak ve bir fikri mevcut çalışmalarla hizalayarak üzerine inşa etmek. Projenin kendisi de katkılarının netleşmesinden önce iki kez bu tür bir yön değişikliği geçirdi.

Beş araştırmacıyla yapılan ön çalışmada katılımcılar, fikirlerini geliştirmekle onları literatür ışığında eleştirel biçimde değerlendirmek arasında zorlandı. Bir makale fikrin özgünlüğünü zorladığında, önceki çalışmalarla desteklenmiş somut revizyon önerileri istediler. LitPivot'un değerlendirme yapısı da bu bulgulara göre şekillendi: literatürle desteklenen eleştiriler, fikrin seçilen bölümüne yönelik belirli değişiklik önerileriyle birlikte sunuluyor.

Çalışma ne gösterdi?

Laboratuvar çalışmasında 17 araştırmacı, biri LitPivot diğeri metin editörü ve seçili makaleler hakkında soru sormaya yarayan bir yapay zekâ aracından oluşan iki koşulda birer fikir geliştirdi; her iki koşulda da aynı makale koleksiyonu kullanıldı. Hangi sistemin kullanıldığını bilmeyen iki alan uzmanı, ortaya çıkan önerileri tek bir ölçütle puanladı: fikri desteklemek ve gerekçelendirmek için ilgili literatürün ne kadar iyi kullanıldığı. LitPivot ile geliştirilen öneriler daha yüksek puan aldı.

Katılımcılar ayrıca LitPivot ile çevrelerindeki literatürü daha iyi anladıklarını ve fikirlerinin özgünlüğü ile kullanışlılığında daha fazla iyileşme gördüklerini bildirdi. Çalışmadan bir örnekte katılımcı, birden fazla hastane ziyaretinde tutarlı ve olgusal sentetik tıbbi notlar üretme önerisiyle başladı. LitPivot, seçilen literatürde çoklu ziyaretler arasında tutarlılığı olası bir boşluk olarak işaretledi. Katılımcı özetleri inceleyip tek ziyarete odaklanan makaleleri çıkardı ve yeni bir değerlendirmeden sonra önerisini, farklı ziyaretlerden gelen notlar arasındaki çelişkileri tespit etmeye daralttı.

Beş araştırmacının kendi süren projelerinde LitPivot'u 30 dakikalık oturumlarla denediği takip çalışmasında katılımcılar aracı yalnızca başlangıçta değil, projelerinin farklı aşamalarında kullandı. İkisi yeni fikirleri literatüre göre süzmek için, üçü ise olgunlaşmış fikirlerin çerçevesini netleştirmek için yararlandı. Bir araştırmacı, farklı alanlardaki paralel kavramları görmenin katkısını yeniden çerçevelemesine yardımcı olduğunu belirtti.

Neden önemli?

LitPivot, araştırma fikirlerinin erken aşamasında hangi literatürün ölçüt alınacağı kararını revizyon sürecinin parçası haline getiriyor. Sistemin yazarları, çalışmanın bilimsel yazım ortamları ve yapay zekâ destekli asistanların yanında yeni bir iş akışı denediğini belirtiyor: fikri değerlendirmek için literatür seçmek, bu kanıtla fikri revize etmek ve fikir değiştikçe hangi makalelerin önemli olduğunu yeniden düşünmek.

Ai2 bünyesinde LitPivot, test edilebilir fikirlerin formüle edilmesine ve arkalarındaki kanıtların incelenmesine yönelik çalışmaların bir parçası. Ekip, otomatik özgünlük değerlendirmesinin sınırlarını ele alan son çalışmasında küçük istem değişikliklerinin aynı fikirler hakkında bir yapay zekâ hakeminin kararını değiştirebildiğini göstermişti. LitPivot bu hattı, ilgili literatürün seçimini revizyon sürecine dahil ederek sürdürüyor.

Aracın makalesi etkinlik sitesinde yayımlandı; sistemin araştırmacıların genel kullanımına ne zaman ve nasıl açılacağına dair bir bilgi paylaşılmadı. Türkiye'deki araştırmacılar için erişim koşulları da henüz açıklanmadı.