Aynı sonuç, farklı hata
Robot doğru bloğa uzanıp onu düşürdüğünde, yanlış bloğu kusursuzca tuttuğunda ve masada olmayan harfi aramayı sürdürdüğünde aynı şey olmuyor. Buna rağmen üçünün sonucu da tamamlanmamış bir sözcük olabilir. Ai2’nin yeni ToyBlocks ortamında ilgimi çeken, blokların oyuncak görünümü değil, bu başarısızlıkları ayırmaya izin veren deney düzeni. Robotun görev seçimi ile hareketini tek başarı sayısında toplarsak, hangi yeteneğin geliştiğini göremeyiz. Bir modele daha iyi hareket ettirmeyi öğretmek, yanlış hedefe daha güvenilir biçimde ulaşmasını da sağlayabilir. ToyBlocks, üst düzey planlayıcı ile hareket denetleyicisini ayrı bileşenler olarak kurarak bu sorunu araştırılabilir hale getiriyor.[1]
Üst düzeyde Molmo2, hangi bloğun hangi noktasına hangi becerinin uygulanacağını seçiyor; ManiFlow bu seçimi fiziksel harekete çeviriyor. Ortam itme, çevirme, tutma ve yerleştirmeyi birleştiren uzun görevler üretiyor. Veri hazırlayan düzen konum ve yönelim gibi ayrıcalıklı bilgilere erişebilirken, öğrenen görsel modeller kamera görüntülerini kullanıyor. Bu ayrım önemli: gösteriyi üreten sistemin bildikleri, robotun görüntüden çıkarması gerekenleri otomatik olarak çözmüş sayılmaz. Eğitim verisinin düzgün görünmesi, görsel algının aynı durumu doğru temsil ettiğini göstermiyor. Üstelik bir hareketin sonunda gelen görüntü, sonraki seçimin girdisi oluyor; hatalar yalnızca son adımda ortaya çıkmıyor.[1]
Bazen doğru yanıt vazgeçmek
Bileşenlerden birini başvuru bileşeniyle değiştirip diğerini sınamak, aynı başarısızlık için iki açıklamayı karşılaştırmaya yarıyor. Daha iyi bir hareket denetleyicisi görevi kurtarıyorsa dar boğazın uygulamada olduğunu düşünebiliriz. Fakat bu tek başına planlayıcının her durumda doğru olduğu anlamına gelmez: daha güçlü denetleyici, kötü seçilmiş bir hedefi de telafi ediyor olabilir. Tersine, başvuru planlayıcısıyla düzelme görülmesi görsel modelin bütün hareketlerini kusurlu kılmaz. Bence bu düzenin asıl yararı, bir bileşene topluca başarı ya da başarısızlık yazmak yerine diğer bileşen sabitken neyin değiştiğini sorması. Ara bileşenlerin başarısı ile bütün görevin başarısı birlikte okunmalı.[1]
Eksik harfli sahneler ölçümü daha da değiştiriyor. Bazı sözcük görevlerinde gerekli blok masada yok; doğru sonuç, görevin olanaksız olduğunu saptamak. Böyle bir sahnede daha uzun aramak mutlaka ilerleme değil. Görünmeyen yüzü çevirmek bilgi sağlayabilir, fakat bulunmayan harfi bulamaz. Yalnızca tamamlanan sözcükleri sayan bir ölçü, doğru vazgeçişi de başarısızlık yazardı. Buna karşılık olanaksızlık kararını kabul eden ölçünün de kolay bir kaçışa dönüşmemesi gerekir: gerçekten çözülebilir sahnelerde erken vazgeçmek ayrıca görünür olmalı. Bu, robotun ne kadar hareket ettiğinden farklı bir yetenek; gözlem yapma, eldeki bilgiyle karar verme ve hedefin gerçekleşebilirliğini ayırmayı gerektiriyor.[1]
Fiziksel masa neyi gösteriyor?
Gerçek robot denemesine gelince ölçek yeniden küçülüyor. Ai2, Franka FR3 kolu ve Robotiq tutucuyla otuz sahne düzeni bildiriyor; karşılaştırılan benzetim değerlendirmesinde iki yüz deneme var. Fiziksel kurulum, tanıdık blokların harfleri görünür ve düzgün dururken yapılan en kolay görevle sınırlı. Çarpışma ya da operatörün durdurması başarısızlık sayılıyor. Bu ayrıntılar, simülasyondan çıkan bir becerinin fiziksel masada denenmiş olmasıyla genel aktarımın gösterilmiş olmasını ayırıyor. Benzer görünen sonuçlar, dar sahne seçimiyle de açıklanabilir. Otuz düzen, gizli harfler, farklı yüzeyler ve daha zor arama görevleri için aynı sonucun çıkacağını göstermiyor.[1]
Bu yüzden ToyBlocks’tan çıkaracağım sonuç, robotların blok sorununu çözdüğü değil, başarısızlığın daha iyi bölümlere ayrılabildiği. Bir sonraki karşılaştırmada yalnızca daha yüksek toplam başarı aramam: planlayıcı sabitken denetleyicinin değiştirilmesiyle hangi hataların kaybolduğunu, olanaksızlık kararlarının çözülebilir sahnelerde nasıl davrandığını ve fiziksel denemenin hangi koşullara genişlediğini görmek isterim. Bunlar aynı ilerlemenin üç adı değil; farklı yetenekler. Oyuncak masanın değeri de burada: tek bir gösterinin akıcılığı yerine, hareket edememekle yanlış karar vermek arasına deneysel bir sınır çekebiliyor. O sınır korunursa hangi düzeltmenin hangi sorunu çözdüğü daha anlaşılır olur.[1]