Scientist World, 1.000 makaleyi araştırma eylemcileri için sınama ortamına dönüştürdü
Princeton araştırmacıları, yapay zekâ eylemcilerinin yayımlanmış yöntemleri geliştirmesini sınayan çalıştırılabilir araştırma ortamları hazırladı. İlk derlemde 1.000 ortam bulunuyor; modellerin karşılaştırılması ise daha az hesaplama gerektiren on görevle yapılıyor. Fikir üretimini ve uygulamayı ayrı modellere veren başka bir deney, araştırma önerisinin değerini bütün projeyi yürütme yeteneğinden ayırıyor. Ortamların kurulmasında da yeniden üretim, görev tasarımı ve doğrulama ayrı rollere bölünüyor.
Yapay Zekâ··Gece
Bin ortamda kurulum, on görevde karşılaştırma
Princeton Üniversitesinin araştırma eylemcilerini sınamak için geliştirdiği Scientist World, yayımlanmış yöntemlerden çalıştırılabilir görevler hazırlıyor. Derlemde 1.000 ortam var. Her birinde araştırma sorusu, yapılabilecek değişiklikler ve yeni yöntemin nasıl puanlanacağı tanımlanıyor. Modellerin karşılaştırılması ise daha az hesaplama gerektiren on görev üzerinde yürütülüyor. Seçimde, uygulanabilir hesaplama bütçesiyle çalıştırılabilen deneysel yöntemlere öncelik veriliyor. Bazı deneyler küçültülürken araştırma sorusunun ve basit yöntemlerden anlamlı farkın korunması isteniyor.[1]
Kurulum ile doğrulama ayrı rollere veriliyor
Görevi hazırlayan eylemciler iş bölümü yapıyor: biri özgün deneyi yeniden çalıştırıyor, diğeri görev koşullarını belirliyor, bir başkası bağımlılıkları ve veri indirmeyi paketliyor. Kuruluma katılmayan doğrulayıcı, kodu, çalışma günlüklerini ve puanları inceliyor. Roller otomatik yürütülüyor; her makale insan değerlendirmesinden geçmiyor. Geliştirmede kullanılan veriyle son sınamaya ayrılan veri ayrı tutuluyor. Kaynak yöntemin yeniden elde edilen sonucu da yeni önerilerin karşılaştırma tabanını oluşturuyor.[1]
Fikirlerin uygulanması sabit bir modele bırakılıyor
Başka bir deneyde küçük model araştırma fikri üretmek için eğitiliyor. Bütün önerilerin uygulamasını aynı güçlü model üstleniyor; karşılaştırmada değişen unsur fikri üreten model oluyor. Böylece fikir üretimi, bütün araştırma projesini tek başına yürütmekten daha dar bir görev olarak ölçülüyor. Ön baskının ortamlarında izin verilen düzenlemeler, veri arayüzleri ve puanlama koşulları ayrıca tanımlanıyor. Yeni eylemciler bu belirlenmiş koşullar içinde yöntem geliştirmeyi deniyor.[1]
