Perplexity, büyük modelin belge dizinini küçük modelle aramaya açtı
Perplexity, metinlerde, görsellerde ve görsel belgelerde bilgi bulmak için iki açık ağırlıklı model yayımladı. Ortak temsil kullanan küçük model, büyük modelle hazırlanmış belge dizininde arama yapabiliyor. Geliştiriciler belge dizinini oluşturmakla anlık sorguları işlemek için farklı modeller kullanabiliyor. Sayfa görselleri önce metne çevrilmeden aranabiliyor. Modeller Hugging Face’te erişilebilir; her belge için çok sayıda vektör tutmak depolama yükü getiriyor.
Yapay Zekâ··Öğle
İki arama modeli ortak temsil kullanıyor
Perplexity, iki açık ağırlıklı arama modelini 7 Ekim’de yayımladı. Modeller metinleri, görselleri ve görsel sayfaları işliyor; farklı büyüklüklerine rağmen aynı temsil uzayını paylaşıyor. Makine öğrenmesi modellerinin dağıtıldığı Hugging Face platformu üzerinden erişilebiliyorlar.[1], [2]
Küçük sürüm 0,6 milyar, büyük sürüm 9 milyar parametre içeriyor. Büyük modelle dizine eklenen bir belge koleksiyonunda küçük modelle sorgu yapılabiliyor. Böylece belgeleri aramaya hazırlayan model ile anlık isteği karşılayan model birbirinden ayrılabiliyor.[1]
Eşleşme puanına tek tek belirteçler katkı veriyor
Modeller, metin veya görsel girdinin küçük birimi olan her belirteç için ayrı vektör tutuyor. Sorgudaki her belirteç, belgedeki belirteçlerle karşılaştırılıyor. En güçlü eşleşmeler son puana katkı yapıyor. Geç etkileşim adı verilen yöntem, belgenin tamamını tek vektörde özetlemek yerine çok sayıda temsilini koruyor. Bir sayfadaki farklı öğeler eşleşme hesabında yer alabiliyor.[1]
Sayfa görselleri metne çevrilmeden aranabiliyor
Sürüm, sıradan metin ve görsellerin yanında PDF belgelerini ve sunum dosyalarını kapsıyor. Görsel sayfalarda önce optik karakter tanıma veya metin ayrıştırma yapılması gerekmiyor. Çok sayıda belirteç vektörünü saklamak, belge koleksiyonunun depolama yükünü artırıyor. Geliştiriciler, yayımlanan ağırlıkları inceleyebiliyor; modelleri kendi altyapılarında çalıştırıp uyarlayabiliyor. Bu aile, Perplexity’nin daha önceki yoğun ve bağlamı dikkate alan arama modellerini tamamlıyor.[1]
