Benzerliğin ölçüsü

Birbirine benzeyen iki öğün fotoğrafı, model için yararlı bir karşılaştırma oluşturabilir. Fotoğraftaki benzerliğin besin miktarını kestirmeye ne kadar yardım ettiği ise ayrı bir deney sorusu. Lubnaa Abdur Rahman ve çalışma arkadaşlarının NutriVisRAG önbaskısı bu soruyu, besin açıklamaları bulunan benzer öğünleri görsel dil modeline göstererek sınamış. Model yeniden eğitilmiyor; karşılaştırma örnekleri yanıt üretilirken önüne konuyor. İlginç sonuç, bu ek bilginin her model ve istem biçiminde aynı yönde çalışmaması.[1]

Deney dört veri kümesini, dört görsel dil modelini, üç görsel kodlayıcıyı ve iki istem yöntemini bir araya getiriyor. Toplam 96 düzenlemenin 56’sında ana hata azalıyor. Bütün öğünü birlikte soran istemlerde iyileşme 48 karşılaştırmanın 35’inde görülürken, yiyecekleri ayrı ayrı soranlarda 48 karşılaştırmanın 21’inde görülüyor. Bu paydalar, örnek vermenin genel olarak işe yaradığı hükmünden daha yararlı: örneklerin nasıl kullanıldığının sonucun parçası olduğunu gösteriyor. En iyi düzenlemeyi seçerek anlatılan bir kazanç, bu değişkenliği görünmez kılardı.[1]

Görsel eşleşmenin katkısı

Başvuru havuzunda Nutrition5k’den 2.445, SNAPMe’den 1.149 görsel var; sınama görselleri bu havuzdan çıkarılmış. Varsayılan arama beş örnek getiriyor. Benzerlik eşiğini geçen örnek bulunmadığında en yakın tek örnek korunuyor. Daha fazla örneğin her durumda daha az hata sağlamaması önemli: modele eklenen malzemenin miktarı ile yararı birlikte artmıyor. Makale, görsel benzerlik puanının da besin bakımından yararlı örneği güvenilir biçimde seçemediğini bildiriyor.[1]

Benim çıkarımım, burada ölçülen kazancın bir bölümünün görsel olarak doğru eşleşmeden ziyade açıklamalı öğün örnekleri verilmesinden kaynaklanabileceği. Buna karşılık seçilen görsel eşleştirme, havuz ve istem biçimiyle etkileşerek gerçekten ek katkı sağlıyor da olabilir. Çalışmada rastgele örnek seçimi ve eşlenmiş metinsel arama karşılaştırmaları bulunmadığı için bu açıklamaları ayıramıyoruz. Aynı örnek sayısıyla bu iki karşılaştırmayı eklemek, kazancın hangi parçadan geldiğini ayırmaya yönelik bir deney olurdu.[1]

Karşılaştırılan besin miktarı

EDUCATE bölümünde, insülin kullanan diyabetli 25 yetişkinden gelen 247 öğün fotoğrafı var. Karbonhidrat kestirimi, iki diyetisyenin görsel tahminlerinin ortalamasıyla karşılaştırılıyor. Bu tasarım, modelin o değerlendirmelere ne kadar yaklaştığını ölçüyor. Fotoğraftaki öğünün ölçülmüş besin içeriğiyle farkını doğrudan vermiyor. Klinik bağlamın veri kümesinde bulunması, ölçümün kendisini bir hasta sonucu haline getirmiyor; burada gösterilen sonuç bir kestirim karşılaştırması.[1]

Bu önbaskının yararlı katkısı, ek örneklerin hem iyileştirdiği hem kötüleştirdiği koşulları görünür kılması. Çoklu karşılaştırma düzeltmesinin ardından 45 düzenlemede anlamlı iyileşme, 23’ünde anlamlı kötüleşme var. Her düzenleme için tekrarlı üretim yapılmamış olması da sonuçların çalıştırmadan çalıştırmaya değişimini açık bırakıyor. Daha güçlü bir sonraki sınama, kodlayıcı ve istem seçimini baştan sabitleyip üretimleri tekrarlayarak aynı kazancın korunup korunmadığını ölçebilir. Böylece en iyi düzenlemeyi bulmakla, önceden seçilmiş bir düzenlemenin güvenilirliğini ölçmek arasındaki fark da sonuçta görünür olur.[1]