İyi yanıtın ardından gelen zor soru
Bir dil modelinden toplantıyı erteleyen bir e-posta istediniz. Aldığınız iyi yanıt, bir sonraki sefer daha hassas bir iş konuşmasını da ona bırakmanıza yol açabilir. Hannah Li’nin yeni kuramsal çalışması bu olasılığın ölçümdeki sonucunu inceliyor: model, kullanıcıların kendisine yönelttiği görevleri değiştirebiliyor. Aynı basit sorulara verilen yanıtlarla ölçülen başarı ile kullanıcıların zaman içinde seçtiği sorulara verilen yanıtların başarısı farklı hedefler. Benim bu çalışmada değerli bulduğum nokta, değerlendirmeye başlamadan önce hangi hedefin ölçüleceğinin açıkça seçilmesi. Bir ürünün toplam başarı oranını, karşılaştığı görevlerin güçlüğünü bilmeden okumak yanıltıcı bir model sıralamasına götürebilir.[1]
Çalışmanın e-posta örneği, gerçek kullanıcılardan toplanmış bir deney sonucu sunmuyor. Kurulan olasılıklarda iyi yanıt alan kullanıcılar daha zor görevlere geçiyor. Daha güçlü model her görev türünde en az öteki kadar başarılı olsa bile, toplam başarı oranı azalabiliyor. Çünkü sonraki turda zor görevlerin payı yükseliyor. Bu örnek bana bir ürünün gerçekte böyle davrandığını söylemiyor; yalnızca başarı yüzdesinin model yeteneği ile görev seçimini birlikte taşıyabildiğini gösteriyor. Gerçek bir uygulamada aynı açıklamayı kullanabilmek için hangi kullanıcıların hangi yeni görevleri denediğini ölçmek gerekir.[1]
İki testin hedefi
Sabit bir istem kümesini iki modele vermek, ortak dağılımdaki farkı ölçüyor. Kullanıcıları rastgele iki modele atayıp konuşmalarını izlemek ise her modelin oluşturduğu soru dağılımındaki farkı ölçüyor. İkinci düzende rastgele atama yapılması, sonradan sorulan soruların aynı kalmasını sağlamıyor. Kullanıcının aldığı yanıta göre yön değiştirmesi de deneyin bir parçası oluyor. Bu yüzden iki yöntem arasında uyuşmazlık görüldüğünde ilk sorum örneklemin yeterince büyük olup olmadığıyla sınırlı kalmaz. Hedeflenen büyüklüğün aynı olup olmadığını da sorarım. Daha çok veri, farklı hedef büyüklükleri kendiliğinden tek bir ölçüye dönüştürmez.[1]
Benim tercih edeceğim sunum, toplam puanın yanında görev türlerinin payını ve her türdeki başarıyı vermek olurdu. Böylece düşük puanın zorlaşan görevlerden mi, aynı görevde kötüleşen yanıtlardan mı geldiği daha iyi incelenebilir. Çalışma da soru dağılımındaki kaymayı ve modelin görevler arasındaki başarı farklarını değerlendiren bir yeterli koşul kuruyor. Fakat bu koşulu uygulamak için anlamlı görev sınıfları gerekiyor. Bütün yazma isteklerini tek kutuya koymak, basit erteleme ile hassas iş konuşması arasındaki farkı gizleyebilir. Çok ince sınıflar kurmak da veri toplamayı güçleştirir. Ölçümün sınırı, seçilen sınıfların duyarlılığıyla birlikte açıklanmalı.[1]
Deneyin süresini seçmek
Kullanıcıların yeni modele alışması zaman alabileceği için daha uzun bir deneme cazip görünebilir. Çalışma burada ikinci bir ölçüm sorunu açıyor. Başlangıçtaki alışma dönemini çıkarmak, modellerin soru dağılımlarının daha fazla ayrıştığı sonraki turlara ağırlık veriyor. Amaç uzun dönem kullanımını görmekse bu uygun olabilir. Ama aynı görevlerdeki yanıt kalitesini karşılaştırmak isteniyorsa başka bir soruya yaklaşılmış olur. Ben deney süresini başarı tablosunu gördükten sonra ayarlamak yerine, hangi kullanım döneminin karar için önemli olduğunu baştan belirlemeyi tercih ederim. Kısa ve uzun dönem sonuçlarının birlikte verilmesi de kullanıcı uyumunu daha görünür kılabilir.[1]
Kuramsal sonuçların dayandığı sadeleştirmeler de önemli. Ana çözümlemede sonraki soru önceki yanıta, modelin yanıtı mevcut soruya bağlı; kullanıcılar arasında bağımsızlık varsayılıyor. Daha basit doğrusal örnek, yanıtların sonraki soruları etkilemesinin ardışık gözlemleri bağımlı kılıp tahmin değişkenliğini artırabileceğini anlatıyor. Bu, gerçek bir hizmette ne kadar ek kullanıcı gerektiğini veren hazır bir sayı sağlamıyor. Bence sonraki sınama, gerçek etkileşimlerde görev seçimini, aynı kullanıcının zaman içindeki değişimini ve görev başına sonuçları birlikte ölçmeli. O zaman iyi yanıtın zor soruya yol açtığı açıklaması, diğer olası davranış değişimleriyle aynı veride karşılaştırılabilir.[1]