Anthropic, farklı kullanıcıların eylemcileri için MAMUBench ortamlarını yayımladı
Anthropic’in araştırma sayfası, farklı kullanıcılar adına çalışan yapay zekâ eylemcilerini sınamak için üç MAMUBench ortamını yayımladı. Paket, ortak bütçe, klinik takvimi ve kişisel yardımcı görevlerinde 74 senaryo içeriyor. Eylül tarihli ön baskının ardından paylaşılan kod, birbiriyle yarışan kullanıcı isteklerinin deneylerde nasıl ele alındığının yeniden incelenmesini ve deneylerin tekrarlanmasını sağlıyor.
Yapay Zekâ··Akşam
Üç deney ortamı açıldı
Anthropic, MAMUBench adlı değerlendirme düzeninin üç deney ortamını araştırma sayfasında kullanıma açtı. Bu tek araştırma belgesi, farklı kullanıcılar adına çalışan eylemciler için 74 senaryo içeren paketi anlatıyor. Ortamlar, ortak harcama sınırlarını, klinik randevu takvimlerini ve kişisel yardımcı görevlerini canlandırıyor. Kodun paylaşılması, 30 Eylül tarihli ön baskıyı izliyor. Araştırmacılar böylece benzetim ortamlarını inceleyebiliyor ve yeniden çalıştırabiliyor. Yeni gelişme, bu deney ortamlarının erişime açılması.[1]
Talepler ortak kaynaklar üzerinde yarışıyor
Deney düzeni, bütün kullanıcıların isteklerini alan tek bir eşgüdümleyiciyi, her kullanıcıyı ayrı bir eylemcinin temsil ettiği ekiplerle karşılaştırıyor. Ekipler iletişim kanalı açık veya kapalı koşullarda çalışabiliyor. Kullanıcılar aynı bütçe, randevu aralığı veya sipariş üzerinde yarışabiliyor. Bu nedenle ortak işin tamamlanması ile tek kişinin isteğinin korunması ayrı ayrı ele alınıyor. Yayımlanan kişisel yardımcı ortamında sipariş veya rezervasyon içeren 25 senaryo bulunuyor. Eylemcilerin iletişim kurma koşulları da deneyin parçaları arasında.[1]
İletiler ve benzetim sonuçları
Düzen, bir iletinin gönderilmesini, işlemi tamamlayan eylemcinin onu karar vermeden önce okumasından ayırıyor. Denenen bir koruma, okunmamış ileti varken son işlemi engelliyor. Klinik ortamı, hasta katılımı yerine benzetim takvimleri kullanıyor. Bazı izin ve uydurma içerik etiketleri, insan değerlendirmesiyle doğrulanmadan dil modelleri tarafından verildi. Paket, deney kodunu ve koşullarını erişime açıyor. Değerlendirmeler bu benzetim görevlerinin sonuçlarına dayanıyor. Araştırmada kullanılan modeller ve akıl yürütme ayarları da ortama göre değişiyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
