Kutunun görmediği açı

Mundo’nun bir otel odasını yeniden kurarken yaptığı küçük bir denetim hoşuma gidiyor: nesnenin çevresine çizilen kutu, yerini belirlemekte kullanılmayan bir görüntüde de nesneyle örtüşmeli. Fotoğraflardan düzenlenebilir bir benzetim ortamı oluşturan bu yöntemi Yihang Luo ve çalışma arkadaşları 23 Ekim’de anlattı. Görsel dil modeli, yani görüntüleri ve metni birlikte işleyen model, eksik nesneleri veya yanlış yerleşimleri buluyor; sayısal eniyileştirme de kutunun konumunu, boyutunu ve yönünü ayarlıyor. Saklanan görüntü, bu ayarın başka bir bakışta da karşılığı olup olmadığını soruyor.[1]

Bir fotoğrafta masanın kenarına oturan kutu, derinliği yanlış olduğu hâlde doğru görünebilir. Başka bir açı, bu açıklamayı elemeye yardım eder. Yazarların koyduğu kabul koşulunun değeri burada: yalnızca ayar yapılan görüntüye benzeyen bir sonuçla yetinmiyor. Fakat sınama aynı sahnenin görüntüleri arasında yapılıyor. Buradan yeni odalarda aynı doğruluğu veya masanın gerçek sürtünmesini çıkarmak için dayanak yok. Kutunun yerini sınayan ölçü, onun fiziksel özelliklerine doğrudan kanıt sağlamıyor.[1]

Masanın yeri, masanın yüzeyi

Mundo bu ayrımı incelemeye elverişli bir düzen kuruyor. Sahne programında nesnelerin konumu ve fiziksel özellikleri açıkça tutuluyor. Eylemci yapay zekâ, kütle, sürtünme ve uygulanan kuvvet gibi değerleri çıkarıp programa yazıyor; çoğu benzetimde hareketi ve teması MuJoCo adlı fizik motoru hesaplıyor. Ardından sadeleştirilmiş sahnenin kareleri ile giriş fotoğrafları video modeline veriliyor. Son görüntü böyle oluşuyor. Dolayısıyla bir nesnenin ekranda durduğu yerin arkasında hem hesaplanmış durum hem de onu görüntüye dönüştüren üretim aşaması var.[1]

Bu zincirde kutuların yalınlığı bilinçli bir seçim. Yazarlar, ayrıntılı temas geometrisi gerektirmeyen etkileşimlerde kutuların işe yaradığını belirtiyor; ince etkileşimler için daha ayrıntılı nesne biçimleri kullanılabiliyor. Aynı yazıda küçük nesnelerin havada kalabildiği ve video modelinin onları tutma gibi etkileşimlerde yanlış görüntüler üretebildiği de açıklanıyor. Bu iki hata farklı aşamalarda başlayabilir. Küçük nesnenin görüntüde yüzeyden ayrılması, sahnenin yerleşiminden veya görüntü üretiminden kaynaklanabilir; yalnız bitmiş videoya bakarak bu olasılıklardan birini seçemem.[1]

Teması iki yerde aramak

Ben bu yöntemin sonraki değerlendirmesinde aynı temasın iki karşılığını yan yana görmek isterim. Örneğin nesnenin masaya değdiği an, önce fizik motorundaki konumlar ve temas bilgisiyle, sonra üretilen görüntüyle karşılaştırılabilir. Hesaplanan dünyada temas doğruyken görüntüde nesne havada kalıyorsa, görüntü üretimi daha doğrudan incelenebilir. Hata hesaplanan durumda da varsa, nesne biçimi, yerleşimi ve fiziksel değerler araştırılır. Bu bir öneri; blogda böyle bir eşleştirmenin hata oranı verilmiyor. Önerinin amacı, kusurlu bir görüntünün bütün sisteme yüklenmesini önlemek.[1]

Hesapla görüntünün uyuşması da son durak olmaz. Gerçek bir nesnenin davranışını temsil etme iddiası, kütle ve sürtünme gibi programa giren değerlerin ayrıca doğrulanmasını gerektirir. Mundo’nun saklanan görüntü denetimi ise bugün daha somut bir kazanım sunuyor: geometriye yapılan düzeltmeyi başka bir açıdan sorgulamak. Bu küçük kuralı temas sınamasına taşırken, her aşamanın yanıtladığı soruyu korumak isterim. Masanın nerede olduğu, üzerindeki nesnenin nasıl hareket ettiği ve o hareketin videoda nasıl göründüğü için ayrı karşılaştırmalar kurmak mümkün.[1]