Uzunluk sabitken değişen işlem
Bir modelin uzun bir belgede adı geçen kişiyi bulabilmesi, o kişinin elindeki nesnenin daha sonra kime geçtiğini hesaplayabildiğini göstermez. Ai2’nin 3 Kasım’da veri ve koduyla tanıttığı StateBench, bu ayrımı sınanabilir görevlere dönüştürüyor. Sabit değer bulma, son değeri izleme, önceki değerden yeni değer hesaplama ve değişkenler arasında aktarma ayrı güçlük düzeyleri. Böylece uzun bağlam başarısının içinde saklanan farklı beceriler görünür oluyor. Çalışmanın 2 Kasım tarihli ön baskısına eşlik eden bu kıyaslama, belirli durum güncelleme görevlerine odaklanıyor.[1]
Deneyin belirleyici tercihi, güçlük arttığında her şeyi birden değiştirmemek. Eşleştirilmiş görevlerde değişken sayısı, farklı değerlerin sayısı ve güncellemelerin yerleri korunuyor; değişen, uygulanan işlemin türü. Bu düzen, bir başarısızlığın yalnızca metnin uzamasından kaynaklandığı açıklamasını daraltıyor. Yine de biçim etkisi ortadan kalkmıyor: aynı durum izleme sorunu elektronik tabloyla anlatıldığında, başka bir sunum biçimine göre farklı sonuç verebiliyor. Daha karmaşık işlemlerin kendisi kadar, modelin o işlemleri girdiden nasıl çıkardığı da gözlenen başarımı etkileyebilir. Eşleştirme bu ikinci olasılığı kendiliğinden elemez.[1]
İki deney kolu, iki ayrı soru
Araştırmacılar iki deney kolunu ayrı tutuyor. Önceden eğitilmiş modellerin sınanması, genel eğitim sonunda hangi becerilerin kazanıldığını araştırıyor. Küçük modellerin doğrudan görevler üzerinde eğitilip çok daha uzun dizilerle sınanması ise belirli bir işlemin öğrenilip uzunluğa genellenip genellenmediğini soruyor. Doğrudan eğitim kolunda yinelemeli ve karma yapılar bazı görevlerde güçlü uzunluk genellemesi gösteriyor; bu, hazır bir sohbet ürününün aynı beceriyi kazanmış olduğunu söylemiyor. Bu iki kolun sonuçlarını tek bir ürün sıralamasına toplamak, eğitim koşulunu değiştirerek model yapısı hakkında hüküm vermek olur.[1]
Bu ayrım, başarısız bir sonucu yorumlamayı da değiştiriyor. Ön eğitimden çıkan bir modelin zorlanması, yapısının o işlemi hiçbir koşulda öğrenemeyeceğine yeterli kanıt sağlamıyor. Doğrudan eğitim kolu bu olasılığı ayrıca araştırıyor. Tersine, belirli bir yapay görevde başarı da açık uçlu bir konuşmayı güvenilir biçimde sürdürebilmeyi kanıtlamıyor. Eğitim verisinde hangi işlem örüntülerinin bulunduğu, görevin nasıl yazıldığı ve sınama uzunluğu birlikte düşünülmeli. Model yapısı açıklaması güçlü bir aday olabilir; eğitim dağılımının gereken örüntüyü yeterince öğretmemiş olması da canlı bir alternatif. Deneyin yararı bu açıklamaları birbirinden ayıracak karşılaştırmalar kurması.[1]
Sabit varlık kümesinin sınırı
StateBench’in sınırı somut: izlenen varlık sayısı sabit. Oysa bir belge ya da konuşma ilerledikçe yeni kişiler, hesaplar ve nesneler eklenebilir. Sabit bir kümenin değerlerini güncellemekle, o kümeyi büyütürken eski ilişkileri korumak aynı görev sayılmaz. Matematiksel sonuçlar da sayı duyarlılığı ve güncelleme kuralları gibi varsayımlarla kuruluyor. Bunlar deneyin değerini azaltmıyor; hangi sonucun hangi koşulda geçerli olduğunu belirliyor. Özellikle bir yapının kuramsal olarak ifade edebildiği işlemlerle eğitim sonunda gerçekten öğrendiği işlemler arasında ayrıca kanıt gerekiyor.[1]
Bir sonraki uygulama sınaması, değişken sayısını da değiştiren görevlerle kurulabilir. Aynı güncelleme dizisini farklı anlatımlarla sınamak, biçime bağlı kırılganlığı gösterebilir; göreve özel eğitimi genel ön eğitimle ayrı karşılaştırmak ise öğrenme açıklamasını korur. Bu, henüz yapılmış bir dış doğrulama sonucu değil, mevcut tasarımın sınırından çıkan bir deney önerisi. Açık veri ve kod, başka ekiplerin bu karşılaştırmaları tekrar kurmasını mümkün kılıyor. StateBench’ten bugün alınabilecek yararlı ders, uzun girdi desteğini ölçülebilir alt becerilere ayırmak: hangi bilgi bulundu, hangi değişiklik uygulandı ve sonunda hangi değer kaldı?[1]