Üç sinyal, bir eğitim iddiası

TechCrunch'ın ziyaret ederek aktardığı Encord denemesinde, şirketin “pilot” dediği çalışanlar San Leandro'daki bir depoda eşli robot kollarla kahve doldurma ve poker fişi dizme gibi görevler yapıyor. İnsan tarafından hareket ettirilen kolu ikinci kol taklit ediyor. Kamera görüntüsüne Zander Labs başlığından beyin etkinliği ve önkoldaki başka sensörlerden kasların elektriksel işaretleri ekleniyor. Encord bu düzeni bitmiş yöntem değil, deneme olarak tanımlıyor.[1]

Önerilen mekanizma, görev sırasındaki beyin etkinliği düzeyinin model geliştiriciye en yüksek çaba ayarını ne zaman kullanacağına dair ipucu vermesi. Encord önce beyin dalgasıyla etiketli bir başlangıç kümesi oluşturacağını, bunu müşteri robotik modellerinde çalıştıracağını ve ölçek kararından önce başarımın artıp artmadığını değerlendireceğini söylüyor. Henüz açıklanmış sonuç, örneklem büyüklüğü, karşılaştırma grubu ya da etki tahmini yok; bugün elimizde bir deney planının yönü var.[1]

Yapı geçerliliği eşiği

Yöntemin adlandırdığı yapı görev güçlüğü; doğrudan ölçtüğü ise belirli bir çalışanın belirli anda ürettiği elektriksel beyin işareti. Bu ikisi aynı değişken değil. Etiket yararlı olacaksa görevler arasında model hatası veya hesap gereksinimiyle tutarlı ilişki kurmalı, aynı zamanda operatörün kimliğinden bağımsız kalmalı. Beyin işaretinin videoya ve kas sinyaline ek değerini de ayrı göstermek gerekir; aksi halde başlık, daha ucuz sensörlerin zaten taşıdığı bilgiyi yeniden kodluyor olabilir.[1]

En az dört alternatif açıklama mümkün: görev yeniliği, operatör deneyimi, yorgunluk ya da dikkat değişimi ve başlık veya kas sensörünün yerleşiminden doğan ölçüm gürültüsü. Görev sırası da hem etkinliği hem performansı birlikte değiştirebilir. Bu olasılıklar fikri değersiz kılmıyor; sınamanın neyi dengelemesi gerektiğini tanımlıyor. Aynı çalışanlarda farklı görevler, aynı görevlerde farklı çalışanlar ve önceden belirlenmiş bir etiket eşiği olmadan beyin sinyalinin genellenebilirliği ayırt edilemez.[1]

Ölçekten önce karşılaştırma

Encord yöneticisinin YouTube görüntü arşivinin kabaca beş katı büyüklüğünde veri gerekebileceği tahmini, ölçülmüş bir sonuç değil. Büyük veri hedefi, etiketin doğru yapıyı ölçtüğünü kanıtlamaz. Daha açıklayıcı başlangıç, aynı robotik modelin video ile; video ve kas sinyaliyle; video, kas ve beyin sinyaliyle eğitildiği önceden belirlenmiş karşılaştırmadır. Ayrı tutulan görevler ve çalışanlar üzerinde hata, hesap kullanımı ve belirsizlik birlikte raporlanmalı.[1]

Şirketin ölçeklemeden önce müşteri modellerinde başarım artışını değerlendireceğini söylemesi doğru sırayı kuruyor. Bu sıranın ikna edici olması için “başarım”ın ölçüsü önceden yazılmalı: yeni görevde başarı oranı mı, hata azalması mı, aynı doğrulukta daha az hesap mı? Beyin etiketi bu karşılaştırmada video ve kas taban çizgisini aşarsa yöntem bir basamak yükselir; aşmazsa sonuç yine değerlidir, çünkü pahalı ve hassas bir sensör katmanının gereksiz olabileceğini gösterir.[1]