Uyarı için kalan süre

Bir dil modeli tekrar döngüsüne girdiğinde, izleyicinin sonunda doğru teşhis koyması kullanıcıya zaman kazandırmayabilir. Prewarn çalışmasının başlangıç noktası bu gecikme. Araştırmacılar alarmın yerini, ilk döngünün ilk belirtecine göre ölçüyor. Böylece tamamlanmış bir yanıtı doğru sınıflandırmakla, müdahaleye süre bırakacak bir uyarı vermek arasında deneysel bir sınır çiziliyor. Benim bu çalışmadan çıkardığım temel ölçüm ilkesi şu: erken uyarı iddiası, alarmın hata başlangıcına göre zamanını sonuç değişkeni yapmalı. Yanıt düzeyindeki yüksek puan, o süreyi kendi başına vermiyor.[1]

Düzenin güçlü yanı, alarm eşiğini deneme sonuçlarından önce sabitlemesi. Doğrulama verisinde sağlıklı yanıtların ne kadarında yanlış alarm verilebileceği seçiliyor; ardından aynı eşik deneme verisine taşınıyor. Yüzde 1, yüzde 5 ve yüzde 10 bütçeler farklı çalışma noktalarını sınamaya yarıyor. Bu seçim bir kullanım maliyetini görünür kılıyor: gereksiz yere durdurulan sağlıklı yanıtlar. Benim için karşılaştırmanın anlamlı birimi, aynı yanlış alarm bütçesinde kaç bozuk yanıttan önce uyarı geldiği. Eşik sonradan en iyi görünecek biçimde seçilseydi bu karşılaştırmanın yorumu zayıflardı.[1]

Uzunluğun verdiği ipucu

Uzunluğa bakan basit karşılaştırma yöntemi, ölçüm sorununu somutlaştırıyor. Tekrara saplanan yanıtlar belirteç sınırına kadar sürdüğü için uzunluk, tamamlanmış sağlıklı ve bozuk yanıtları neredeyse kusursuz ayırabiliyor. Oysa bitmiş metnin uzunluğunu bilmek, ilk döngüden önce alarm verebilmekle aynı anda elde edilebilen bilgiye dayanmıyor. Buradaki yüksek puan, deney verisindeki bitiş düzenini kullanıyor olabilir. Alternatif açıklama da korunmalı: süre, bozulmaya yaklaşmanın gerçekten yararlı bir işareti olabilir. Bunu ayırmak için yalnızca sonuç puanına değil, aynı uzunluktaki sağlıklı ve bozuk üretimlerde alarmın yerleşimine bakmak gerekir.[1]

İnsan doğrulamalı alan içi sınamada iç etkinliklerden öğrenen doğrusal sınıflandırıcılar, üç modelin ikisinde bozuk yanıtların çoğundan önce uyarabiliyor. Bu, tekrara saplanma için incelenmeye değer bir bulgu. Ancak Apertus ve Llama’da başlangıçlar çoğunlukla sağlıklı yanıtların sona erdiği uzunluklardan sonra geliyor. Yazarların belirttiği bu özellik, sinyalin ne kadarının bozulmaya özgü olduğu sorusunu açık bırakıyor. Mistral sonucu da genellemeyi sınırlıyor. Aynı yanıt düzeyindeki başarı puanına sahip izleyicilerin farklı zamanlarda alarm vermesi, model seçiminin zaman ölçüsüyle yeniden yapılması gerektiğini düşündürüyor.[1]

Alarmdan müdahaleye

Başlangıcın tanımı da sonuç üzerinde etkili. Çalışma ilk döngünün ilk belirtecini seçiyor; tekrarın gözle görünür hale geldiği daha geç bir nokta seçilirse aynı alarm daha erken görünür. Bu nedenle yeniden yapılacak bir deneyde başlangıç kuralını ve yanlış alarm bütçesini baştan korumayı isterim. İstenen tekrar, listeleme veya kod üretimi gibi sağlıklı örneklerin ayrıca incelenmesi de yararlı olur. Bu öneri çalışmada ölçülmüş bir sonuç değil; erken uyarının normal kullanımı hangi sıklıkla böleceğini anlamaya yönelik bir sonraki sınama.[1]

Son adım, alarm ile önlem arasındaki bağlantı. Önceden uyarı almak durdurma, yeniden örnekleme veya yönlendirme için fırsat sağlayabilir; Prewarn bu müdahalelerin başarısını ölçmüyor. Uyarının ardından verilen kararın gerçekten daha az bozuk çıktı ve kabul edilebilir ek gider üretip üretmediği ayrıca sınanmalı. Tekrar döngüsü dışındaki hatalara geçerken de yeni başlangıç etiketleri gerekiyor. Çalışmanın katkısını bu sınırla okuyorum: bir izleyicinin neyi yakaladığını, ne zaman yakaladığından ayıran sınanabilir bir düzen kuruyor. Uygulamada yararı belirleyecek sonraki sonuç, o zamanın doğru bir müdahaleye dönüşmesi.[1]