Yanıt anahtarının kaynağı
Property Finder’ın emlak fotoğraflarını değerlendiren sisteminde ölçümün yanıt anahtarı, değişmesi düşünülen modelden geliyordu. AWS ile 27 Ekim’de yayımlanan teknik incelemeye göre etiketlerin yüzde 96,8’i mevcut modelin çıktılarından doğrudan devralınmıştı. Böyle bir karşılaştırmada alternatifin farklı yanıt vermesi, doğru yanıt verse bile puanını düşürebiliyor. Buradaki yöntem sorunu, etiketlerin birkaç yanlış örnek içermesinden daha geniş: doğruluk ölçütü ile adaylardan biri aynı kaynaktan besleniyor. Ekip, kalan yüzde 3,2’lik insan etiketlerinde de başlangıçtaki görev tanımında bulunmayan sınıflar saptamış. Hem etiketin kaynağı hem sınıfların tanımı değişken olduğunda, düşük puanın hangi hatadan geldiği belirsizleşiyor. Bu bulgu, yeni modelin daha iyi olduğunu göstermeden önce eski karşılaştırmanın neden güvenilir olmadığını açıklıyor.[1]
Ekip bu döngüyü, üretimdeki ilanlardan seçilen 356 Birleşik Arap Emirlikleri görüntüsünü alan uzmanına yeniden etiketleterek kırmaya çalıştı. Uzman, önceki model yanıtlarına bakmadan çalıştı; belirsiz örnekler AWS ekibiyle açıklığa kavuşturuldu. Görüntülerde 11 özellik değerlendiriliyor. Bir kapıdan yatak odası da görünen koridor fotoğrafı, tek oda etiketi zorunluluğunun nasıl yapay bir yanlış yaratabildiğini gösteriyor. Çoklu etiket yaklaşımı bu örnekte hedefin tanımını değiştiriyor. Dekoratif Arapça yazının filigran sayılmamasına ilişkin kurallar da göreve ve bölgeye özgü. Bu düzeltmelerin ardından yükselen puanı yalnızca model değişimine bağlamak, etiketleme ve görev tanımındaki katkıyı görünmez bırakır. Yeni etiketler karşılaştırmayı daha anlamlı kılıyor; fakat birden çok müdahale içeren süreç, her müdahalenin etkisini tek başına ölçmüyor.[1]
Bağımsızlığın iki koşulu
Son karşılaştırmanın bağımsızlığı ise sınırlı. İlk etiketlenen 256 görüntü istem geliştirmede kullanılmış; daha sonra eklenen 100 görüntüyle birlikte 356 görüntünün tamamı son değerlendirmeye alınmış. Geliştirme sırasında görülmüş örnekler böylece değerlendirme sonucuna da giriyor. Yazarlar puanların bu nedenle iyimser olduğunu açıkça söylüyor. Mısır’dan ayrılan 230 görüntü bölgeler arası kontrol için kullanılmış, ancak sonuçları bu paylaşımda verilmiyor. Dolayısıyla yeni etiketler eski modelden bağımsız hazırlanmış olsa da son puan, geliştirme sürecinden bütünüyle bağımsız bir sınamanın sonucu değil. Etiket bağımsızlığı ile test bağımsızlığı ayrı koşullar. Biri yanıt anahtarının hangi modelden türediğini, diğeri model ve istem seçiminde hangi örneklerin görüldüğünü sorguluyor. Bu ayrım korunmadan daha güvenilir etiketler, olduğundan güçlü bir genelleme iddiasına dönüşebilir.[1]
İyileştirme çabası da modellere eşit dağılmamış. Mevcut model bir istem ayarlama turu alırken seçilen Llama 4 Maverick 17B Instruct için birden çok tur ve Property Finder’ın sınır durumlarına ilişkin ek kuralları kullanılmış. Son değerlendirmede mikro F1 değerleri sırasıyla 0,56 ve 0,80 olarak veriliyor. Bu sonuç, yayımlanan düzen altında karşılaştırılan iki sistemin farkını gösteriyor; yalnızca temel model yeteneğini ayırmıyor. Alternatif açıklamalardan biri, ek iyileştirme ve görev kurallarının farkın bir bölümünü oluşturması. Aynı görüntülerin geliştirmede kullanılması da puanın yeni örneklerdeki başarımı olduğundan yüksek göstermesine yol açabilir. Bu sınırlamalar yeni sistemin üretimde seçildiği bilgisini geçersiz kılmıyor. Ancak üretim tercihi ile eşit koşullarda model üstünlüğü ayrı sonuçlar. Daha dar iddia, belirli veri ve istemler altında seçilen düzenin daha yüksek puan aldığıdır.[1]
Puanın ve maliyetin kapsamı
Ölçütün seçimi de bu daraltmanın parçası. Mikro F1, bütün etiket kararlarını birlikte değerlendirdiğinden sık görülen sınıfların etkisini büyütebiliyor. Ekip bu nedenle makro F1 ile sınıf düzeyindeki kesinlik ve duyarlılığı da ele almış. Bir fotoğrafın etiketlerinin uzman yanıtıyla örtüşmesi için ayrıca kesişim-birleşim oranı kullanılmış. Tek etiketli dokuz özellikte tam eşleşme doğruluğu da hesaplanmış. Bunlar aynı sorunun birbirinin yerine geçen adları değil; farklı hata dağılımlarını görünür kılan ölçüler. Toplam puan yükselirken az rastlanan bir özelliğin zayıf kalması mümkün. Öte yandan her sınıfa eşit ağırlık vermek de işletmenin gerçek işlem dağılımını temsil etmeyebilir. Bu yüzden hangi hatanın hangi karar için önemli olduğunun açıklanması, tek bir toplam değerin seçilmesinden daha fazla bilgi taşıyor. İncelemenin farklı ölçüleri yan yana vermesi, bu ayrımı izlemeye imkân sağlıyor.[1]
Maliyet karşılaştırması için de ayrı bir sınır var. Paylaşılan yüzde 86 tasarruf tahmini, Aralık 2025’te Ohio bölgesi için kullanılan belirteç ve fiyat varsayımlarına dayanıyor. Başarım karşılaştırmasındaki istem ile gider hesabındaki başlangıç istemi aynı değil. Bu nedenle oran, bugün her müşteri için geçerli bir fiyat üstünlüğü olarak taşınamaz. İncelemenin güçlü yanı, etiket kaynağını, geliştirme kümesini ve eşit olmayan iyileştirme çabasını tartışmaya açması. Bağımsız etiket, görülmemiş sınama örneği, karşılaştırılabilir geliştirme emeği ve açık maliyet varsayımı birlikte ele alındığında üretim kararı daha iyi değerlendirilebilir. Burada eksik olan sınamalar, eldeki sonucu yok saymak için değil, sonucun hangi soruya yanıt verdiğini belirlemek için önemli. Daha ucuz bir düzen seçilmiş olması somut işletme kararı; bu kararın bütün modellere ve yeni veri dağılımlarına genellenmesi ise ayrı kanıt gerektiriyor.[1]