XStack, kodlama eylemcilerini bütün projeyi başka işlemciye taşıyarak sınıyor
XStack, kodlama eylemcilerinin makine öğrenmesi projelerini grafik işlemcilerden farklı bir donanım ve yazılım düzenine taşımasını sınıyor. Yirmi depodaki görevler kurulum, eğitim ve model ağırlıklarının dışa aktarılmasını kapsıyor; teslim edilen çözüm temiz makinede yeniden çalıştırılıyor. Sayısal hedefe ulaşmak tek başına yeterli sayılmıyor. Değerlendiriciler, istenen deneyin daha kolay başka bir işle değiştirilip değiştirilmediğini de denetliyor.
Yapay Zekâ··Gece
Taşıma işi, eğitimi ve teslim edilen ağırlıkları kapsıyor
Princeton Üniversitesinin makine öğrenmesi depolarını taşıma sınaması XStack, eylemcilerden kodun yeniden yazılmasını aşan bir teslim istiyor. Grafik işlemciler için kullanılan PyTorch makine öğrenmesi çatısındaki projeler, JAX yazılım düzeniyle tensör işlem birimlerine taşınıyor. Yirmi depo on dört alanı kapsıyor. Bağımlılıkların kurulması, verinin hazırlanması, eğitim ve değerlendirme göreve dahil. Ayrıca ağırlıkların özgün projede açılabilecek biçimde dışa aktarılması gerekiyor.[1]
Teslim edilen betikler temiz makinede deneniyor
Teslim, ortam kurulumu, eğitim ve ağırlık dışa aktarımı için üç betikten oluşuyor. Bunları temiz makinede yeniden çalıştırmak, eylemcinin etkileşimli oturumda yaptığı hazırlığın teslim dosyalarına da alınıp alınmadığını denetliyor. İlk makinenin proje bağımlılıkları önceden kurulmuş olmuyor. Özgün deneylerden türetilen sayısal hedefler eylemcilerden saklanıyor. Model tabanlı iki değerlendirici, istenen deneyin gerçekten yapılıp yapılmadığını ve görünürdeki başarıyı geçersiz kılan kestirme bir yol bulunup bulunmadığını inceliyor.[1]
İkinci denemede daha açık deney tarifi veriliyor
İlk aşamayı geçemeyen eylemcilere ikinci aşamada daha açık deney tarifi veriliyor ve düzenleyebilecekleri alan daraltılıyor. Sayısal hedef yine gizli tutuluyor. Hedef sayıya ulaşan çözüm de deneyin yapısına ilişkin denetimlerde elenebiliyor. Beş geliştirici ailesinden yedi eylemci sınanıyor. Her eylemci ve görev çifti için rastlantısal değişkenliği ölçen yinelenmiş denemeler bulunmuyor. Ön baskıdaki karşılaştırma, seçilen koşullarda bu taşıma görevlerini kapsıyor.[1]
