GraphRAGProv adlı yeni ön baskı, veritabanının hesapladığı yanıtları kullanılan metin parçalarına bağlıyor. Denemede doğru sonucun, yanlış yorumlanmış bir ifadeden ya da eksik bir sorgudan çıkabildiği görüldü. Araştırmacılar 400 soruyu denetimli bir düzenekte inceledi; çizge ve sorgu kurulurken beklenen yanıtlar da sisteme verildi. Çalışma, yanıtın nasıl oluştuğunu denetlemeye odaklanıyor.
Tek bir yeni arXiv ön baskısında tanıtılan GraphRAGProv, yanıtın hesaplanma yolunu incelemeye açan bir yapı kuruyor. Dil modelleri metindeki ilişkileri çıkarıp soruları veritabanı sorgularına dönüştürüyor; yanıtı veritabanı üretiyor. Hesaplamaya katılan her ifade, çıkarıldığı sözcüklere doğrudan bağlı kalıyor. Farklı pasajlardan aynı ilişki çıkarılsa bile her birinin kaynak bağlantısı ayrı tutuluyor.[1]
Araştırmacılar 400 sorunun 311’inde eksiksiz kaynak izi elde etti. Bir örnekte istenen ülke doğru bulunmuştu; oysa milliyet belirten sıfat, yönetmenin ülkesini değil filmin kökenini anlatıyordu. Başka bir sorgu, oyunla yayıncı arasındaki gerekli ilişkiyi kurmadan doğru yılı döndürdü. Sistem, veritabanının hangi ifadeleri birleştirdiğini görünür kılıyor. Böylece yanlış yorumun hangi ifadede bulunduğu ve hangi ilişkinin sorguda eksik kaldığı saptanabiliyor.[1]
Gösterimde, pasajlardaki bilgilerin birbirine bağlanmasını gerektiren iki sınama kümesi olan 2WikiMultiHopQA ve MuSiQue’den 200’er soru kullanılıyor. Çizge ve sorgu kurulurken beklenen yanıtlarla gerekçe bilgisi de veriliyor. Bu nedenle yazarlar deneyi, görülmemiş sorulardaki başarıyı ortaya koymaktan çok, kurulmuş hesaplamaların incelenmesi olarak sunuyor. Etkileşimli çalışma alanında soru ya da sorgu değiştirilebiliyor; ortaya çıkan yanıt ile kaynak bağlantıları birlikte görüntüleniyor.[1]
