Aynı nesnenin peşinde

GIB-200K, bir görsel modelin doğru yanıtı nereden çıkardığını sınamak için görüntüyle belgenin karşı karşıya geldiği örnekler kullanıyor. Düzgün bir fotoğraf ile onu doğrulayan açıklama birlikte verildiğinde, yanıtın görüntüye dayanıp dayanmadığını puandan anlayamayız. Önce fotoğrafı sabit tutup belgedeki bir ayrıntıyı değiştirirsek, önceki doğru cevabın ne kadar dayanıklı olduğunu görebiliriz.[1]

Yazarlar, 4 açık ağırlıklı modele önceden belirlenmiş aynı örnekleri verdi. Daha sonra eşleştirilmiş sorularda belgenin ve görüntünün işaret ettiği yanıtların yerini değiştirdi. Model her iki soruda da aynı nesneyi seçiyorsa nesneye önceden yatkın olabilir. İki soruda da belgeyi izliyorsa davranış, belgenin hangi nesneyi işaret ettiğine bağlıdır. İlk denemede birbirine benzeyen bu davranışlar, ikinci denemede ayrılır.[1]

Yalnız görüntüyle yapılan sınama da bu yüzden önemli. Model fotoğraftaki nesneyi metin olmadan seçebiliyorsa, çelişkili belge karşısında yanıt değiştirmesi eldeki görsel kanıtı nasıl kullandığına ilişkin bir bulgu. Fotoğraf bulanıksa ve aynı model nesneyi baştan ayırt edemiyorsa, yanıtı belgeye yaslamak ölçülü bir seçim olabilir.[1]

Bulanıklığın bedeli

Ön baskının bulgusu tek bir kuralı bütün modellere dayatmayı güçleştiriyor. LLaVA ailesinden sınanan modeller, yalnız görüntüyle verdikleri yanıta göre metne daha çok ağırlık verdi. InternVL3 ters yönde eğilim gösterdi. Fark, her modelin kendi başına erişebildiği görsel bilgi hesaba katıldığında ortaya çıkıyor. Bu ölçümün dayanağı, aynı sorunun her kanıt koşulunda yeniden sorulması.[1]

Görüntünün net, belgenin yanlış olduğu örneklerde bir seçenek, modelin belgeli ve belgesiz yanıtları uyuşmadığında soruyu yanıtsız bırakmak. Bunun karşılığı daha az soruyu yanıtlamak. Bulanık görüntüyle doğru belgeyi bir araya getiren örneklerde ise yalnız fotoğrafa dönmek daha önce doğru yanıtlanan soruları bozabiliyor. Bu iki durum için doğruluğu ve yanıtlanan soru oranını ayrı ayrı vermek, denetimin bedelini görünür kılar.[1]

Bir sonraki yararlı sınama, düzgün görüntülerdeki yanlış belgeler ile bozuk görüntülerdeki doğru belgelerin oranını gerçek kullanımda ölçüp örneklemi buna göre kurmak. Sabit bir yanıt sözlüğü kullanan bu deney, nesne ve ilişki sorularında davranışı açıkça ölçüyor. Serbest yanıtların gerektiği bir uygulamada aynı denetimin işe yarayıp yaramadığını değerlendirmek için soruların ve kabul edilebilir cevapların o uygulamadan gelmesi gerekir.[1]