Doğru planı sunmak, yanlış isteği durdurmak
Radyoterapi planlayan bir eylemci, karşılanamayan hedefi gördüğünde ne yapıyor? OpenGray önbaskısının ilginç sorusu bu. Humza Nusrat ve Kundan Thind, doğru kararın önceden belirlenebildiği görevler kuruyor: bazı isteklerde doz hedefleri birlikte olanaksız; bazı zor isteklerde ise bütün zorunlu hedefleri karşılayan bir planın varlığı biliniyor. Böylece başarısız bir eniyileştirmenin arkasında iki farklı durum ayrılabiliyor. Eylemcinin daha iyi bir plan araması gereken bir yer ile isteği insan incelemesine yönlendirmesi gereken bir yer, aynı başarısızlık sayacına indirgenmiyor.[1]
Çalışma bir klinik sonuç deneyi değil. Baş-boyun verilerindeki 100 olgunun 10’u geliştirmeye, 30’u değerlendirmeye, 60’ı plan kalitesi puanını ayarlamaya ayrılıyor. Kurallı betik, aritmetik ön kontrol, isteği bir kez yorumlayan dil modeli ve adımları yöneten tam eylemci karşılaştırılıyor. Benim için tasarımın gücü, eylemcinin kararını elde ettiği dozdan ayrı değerlendirmesi. Yapılabilir kontrol görevlerinin hepsinde plan sunulmuş olması olumlu bir karar sonucu; aynı planların yüzde 24’ünün zorunlu bir doz hedefini karşılamaması ise farklı bir başarısızlık. Doğru biçimde devam etmek, yeterli bir plan üretmekle aynı ölçüm değil.[1]
Yüksek toplamın sakladığı çelişki
Terra ile çalışan yorumlayıcı yüzde 95,4 toplam karar doğruluğuna ulaşıyor; tam eylemci yüzde 92,1’de. Anatomik örtüşmeden doğan çelişkilerde insan incelemesine yönlendirme ise sırasıyla yüzde 50 ve yüzde 25. Bu oranların güven aralıkları da geniş: yüzde 25–75 ve yüzde 10–40. Dolayısıyla küçük değerlendirme kümesinden kesin bir model sıralaması çıkarmıyorum. Çıkan daha dar sonuç şu: toplam başarı, olanaksız bir isteği durdurma becerisinin yerine kullanılamıyor. Basit durumları doğru çözmek, özel bir çelişki türünde başarısız kalan sistemi toplamda güçlü gösterebiliyor.[1]
Araştırmacılar SAGE eylemcisinin 39 çalışma günlüğünü de inceledi. Bu günlükler, kararın başka bir parçasını görünür kılıyor. Dört çalışmada bir hedef sürekli başarısız; bu çalışmalardaki 88 yanıtın tamamı başarısızlığı kabul ediyor. Buna rağmen eylemcinin eylemleri arasında durmak veya insan incelemesi istemek yok. Gördüğü geçmiş de üç önceki adımla sınırlı, açık bir deneme sayacı bulunmuyor. Burada başarısızlığı doğru tarif eden cümle, iş akışını değiştiren bir karara dönüşmüyor. Bir modelin sorunu dile getirmesini, sistemin o soruna karşı davranış değiştirdiğinin kanıtı saymak bu ayrımı kaçırır.[1]
Durmayı sınanabilir bir eylem yapmak
Bu günlükler, yalnızca daha iyi bir akıl yürütme modelinin döngüyü çözdüğünü göstermiyor. Durma eyleminin bulunmadığı düzende modelin o eylemi seçmesi zaten sınanamıyor. Deneme sayacının bulunmaması da aynı hedef üzerinde kaç kez başarısız olunduğunu açık bir durum bilgisi olmaktan çıkarıyor. Benim buradan çıkardığım tasarım sorusu, durma ve incelemeye yönlendirme seçenekleriyle deneme geçmişi açıkça verildiğinde kararın değişip değişmediği. Böyle bir karşılaştırmada doz hedefleri ve görevler sabit tutulabilir. Bu, mevcut sonuçlardan çıkarılmış bir çözüm başarısı değil; davranışın hangi bileşenle değiştiğini ayıran bir deney önerisi.[1]
OpenGray’ın sınırı önemli: tek veri kümesi, az sayıdaki çelişki türü ve bir kurumdan gelen günlükler var. Buradan hastalar için güvenli kullanım sonucu çıkmıyor. Buna karşılık araştırmacının önünde daha belirli bir ölçüm var: olanaksız isteği incelemeye yönlendirme, yapılabilir isteği sürdürme ve sunulan planın doz hedeflerini karşılama oranları birlikte raporlanabilir. Bunlardan birindeki artışın diğerindeki kaybı gizlememesi gerekir. Klinik yönteme yaklaşan soru, eylemcinin kaç doğru cümle kurduğu değil, hangi durumda hangi planlama kararını verdiği ve bu kararın nasıl bir planla sonuçlandığı. Eğer incelemeye yönlendirme artarken yapılabilir istekleri sürdürme korunuyorsa, bu sınama içinde daha seçici bir durma kararı ölçülmüş olur.[1]