Aynı sıra sorusu, farklı bilgi

BEAKER’da dikkatimi en yüksek puan değil, girdinin değiştiği küçük bir deney çekti. Üç modele laboratuvar videolarındaki adımların sırası soruluyor. Yalnızca videoyu gördüklerinde orta uzunluktaki örneklerde puanları 44–48 aralığında. Uzmanların yazdığı açıklamalar eklendiğinde 92–96 aralığına çıkıyor. Modeller yeniden eğitilmiyor; onlara verilen bilgi değişiyor. Bu fark, videodan işlem sınırlarını çıkarmakla tarif edilmiş işlemleri sıraya koymanın aynı ölçüm olmadığını görünür kılıyor. Laboratuvar akıl yürütmesi gibi geniş bir başlık, bu iki işi kolayca tek beceriymiş gibi gösterebilir.[1]

Ben bu bulguyu, sorunun önemli bir bölümünün görsel bilgiyi ayrıştırma aşamasında bulunduğuna işaret olarak okuyorum. Ancak açıklamalar yalnızca algıyı temiz bir metne çevirmiyor; uzmanların seçtiği işlem ayrıntılarını da sağlıyor. Alternatif açıklama burada: yükselişin bir bölümü, modele daha düzenli ve daha ilgili bilgi verilmesinden kaynaklanabilir. Dolayısıyla deney, modellerin her koşulda güçlü sıralama yeteneğine sahip olduğunu kanıtlamıyor. Daha dar ve kullanışlı bir teşhis sunuyor: bu örneklerde açıklanmış adımları sıralamak, aynı adımları karelerden çıkarmaktan çok daha kolay.[1]

Uzman emeği ile kapsamın sınırı

Ön baskı 28 modeli, 11 görev türüne yayılmış 1000 soruyla değerlendiriyor. Kümenin 600 sorusu görüntülere, 400 sorusu videolara dayanıyor. On kimya uzmanı ile 12 fiziksel eylemci uzmanının hazırlama ve çapraz inceleme süreci, başlangıçtaki 1500 örneği 1000’e indirmiş. Yazarlar yaklaşık 1200 uzman saati bildiriyor. Soruların ve yanıtların insan eliyle hazırlanması, neyin ölçülmek istendiğini açıklaştıran değerli bir tasarım tercihi. Buna rağmen örnekler, bütün laboratuvar görevlerinin rastgele ve eksiksiz bir örneklemi değil. Kamera bakışı da belirli bir robotun görüş açısıyla aynı olmak zorunda değil.[1]

Açıklama deneyinin yanına kare sayısı deneyi konduğunda teşhis daha da keskinleşiyor. Daha çok kare vermek her görevi düzenli biçimde iyileştirmiyor. Bazı uzun video sıralama sonuçları yükselirken başka görevler standart örneklemede daha iyi. Bu, eksik olanın yalnızca görüntü miktarı olduğunu söylemeyi güçleştiriyor. Benim çıkarımım, modelin ilgili işlem ayrıntılarını bulmasıyla bunları kullanması arasındaki ayrımın korunması gerektiği. Fazladan karelerdeki tekrarlar olası bir açıklama; çalışma bu etkiyi tek başına yalıtmıyor. Kare sayısını artırmayı, açıklama eklemekle aynı müdahale sayamayız.[1]

Puanın karşılığı henüz robot başarısı değil

En yüksek model bileşik puanı 59,2, insan karşılaştırması 93,3. Bu iki sayı cazip bir manşet sunuyor ama bileşik puanın yapısını atlamamak gerekiyor. Çoktan seçmeli doğruluk, kutu örtüşmesi, yörünge uzaklığı ve uzman kararı aynı 0–100 ölçeğinde birleştiriliyor. Dört beceri boyutunun ağırlıkları 0,25, 0,15, 0,35 ve 0,25. Böyle bir özet model karşılaştırmasını kolaylaştırıyor; yüzde 59,2 gerçek deneyin başarıyla tamamlandığını söylemiyor. Yazarlar da puanla gerçek robot başarısı arasındaki korelasyonu ölçmediklerini açıkça belirtiyor. Çevrimdışı, tek turlu yanıt görevi hata düzeltme döngüsünü sınamıyor.[1]

Bence çalışmanın en yararlı çıktısı bu nedenle tek sıralama tablosundan çok, başarısızlığın hangi bilgi koşulunda değiştiğini gösteren görev sonuçları. Uzman açıklamasından büyük yarar sağlayan bir model için ilk araştırma sorusu, videodaki işlem ayrıntılarını nasıl ayırdığı. Puanı yükselen modelin fiziksel bir süreci güvenilir biçimde yürütebildiği ise ayrı bir sınama gerektiriyor. BEAKER bu ayrımı görünür kılıyor. Ortaya çıkan katkı, laboratuvar otomasyonunun tamamlandığı iddiası değil; algının, sıralamanın ve fiziksel icranın hangi deneylerle birbirinden ayrılabileceğine dair daha açık bir başlangıç.[1]