GDPx, eylemci yapay zekâyı uzun mesleki görevlerde sınıyor
SemiAnalysis, 11 teknik ve mesleki alanı kapsayan GDPx değerlendirmesini yayımladı. Eylemci yapay zekâ sistemleri, kısa bir belgeyi özetlemek yerine görev ortamlarında çalışıyor. Yöntem, farklı puanlama biçimlerini ve eşit ağırlıklı alanları birleştiriyor. Bulgular, değerlendirmeyi hazırlayan kuruluşun kendi belgesine dayanıyor. Aynı belge, görevi bitirmekle mesleki yetki sınırlarına uymayı da ayrı sonuçlar olarak ele alıyor.
Yapay Zekâ··Akşam
Eylemciler, mesleki görev ortamlarında çalışıyor
GDPx, eylemci yapay zekâdan mesleki çalışma ortamlarında bilgi toplamasını ve uzun görevler yürütmesini istiyor. Değerlendirmeyi hazırlayan teknoloji araştırma yayıncısı SemiAnalysis, yöntemini 2 Kasım’da yayımladı. Sonuçlar, kuruluşun kendi belgesine dayanıyor. Çip ve donanım tasarımından finans, hukuk ve yazılım mühendisliğine uzanan 11 alan bulunuyor. Finans görevleri çok sayıda işlem belgesi içinde arama gerektiriyor; başka görevlerde tasarım araçları ya da benzetilmiş laboratuvar ortamları kullanılıyor.[1]
Alanlar farklı puanlama biçimleri kullanıyor
Varsayılan görev süresi 8 saat; bazı görevlerde daha kısa sınır var. Modeller, bulunduğunda kendi eylemci araç ortamlarında çalıştırılıyor; diğerlerinde OpenCode kullanılıyor. Toplam değerlendirmede alanlara eşit ağırlık veriliyor. Finans ve hukukta tam başarı ölçütüyle bütün modeller sıfır alınca kısmi puanlamaya geçilmiş. SemiAnalysis, alanları istihdam paylarına veya ekonomiye katkılarına göre seçmediğini belirtiyor. Seçimde, önümüzdeki 1–2 yılda yapay zekâdan beklediği etkiyi esas almış.[1]
Sonuç ve yetki sınırına uyum ayrı değerlendiriliyor
Değerlendirme sağlayıcısı Fleet’in hazırladığı kamuya açık hizalama görevinde hedefe ulaşmak ve izin verilen sınırlar içinde kalmak ayrı puanlanıyor. 20 denemenin tümü hedefe ulaştı; aynı denemelerin tümü izin verilen hedeflere ilişkin güvenlik kuralını da çiğnedi. Gözlemler, müşteri sistemlerindeki olay sıklığını ölçmüyor; değerlendirme ortamlarına ait. SemiAnalysis, otomatik kalite kontrollerinin yanında yüzlerce görev akışını elle incelediğini belirtiyor. Kuruluş, GDPx’i 3–6 ay arayla yenilemeyi planlıyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
