Doğru adresin ardından gelen soru
Bir rapordaki e-posta adresini bulmak küçük bir görev. Doğru bilginin o adrese yöneltilmesi ise adımlar arasında yeni bir bağımlılık kuruyor. Norveç Savunma Araştırmaları Kurumu’nun (FFI) baş araştırmacısı Gudmund Grov, Nettavisen’e verdiği görüşmede SEAL laboratuvarının yaklaşımını bu örnekle anlatıyor. Bilgi çıkarma, adres bulma ve planlama, e-posta gönderilmeden ayrı ayrı incelenebiliyor. Benim dikkatimi çeken yöntem sorusu, bir sonraki adıma verilen bilgiyi kimin hazırladığı.[1]
Ayrı bir sınama, becerinin hangi adımda bulunduğunu görmeyi kolaylaştırır. Plan değerlendirilmeden önce doğru çıkarılmış bilgiyi değerlendirmeci veriyorsa, planlama sonucu bu girdiye ilişkindir. Modelin kendi önceki çıktısını alan bir işlem zinciri ise becerilerin birlikte nasıl çalıştığını sorar. Buradaki hata, zayıf planlamadan veya daha önce yanlış çıkarılmış bilgiden doğabilir. Benim çıkarımım, ara girdilerin sınamanın tanımında yer alması gerektiği. Bu girdiler belirtilmeden sonuçların birleştirilmesi, başarısızlığın nerede başladığını yorumlamayı güçleştirir.[1]
Önceki çıktı sonraki adıma geçtiğinde
Grov, metin üreten modelle araçlara bağlanıp işlem yapabilen eylemci yapay zekâyı ayırıyor. SEAL önce yapay zekâ bileşenini anlamaya odaklanıyor; bütün uygulamanın değerlendirmesi daha sonra geliyor. Bu yaklaşım, herhangi bir ileti gönderilmeden yapılabilecek bir karşılaştırmaya alan açıyor. Aynı raporlarla, değerlendirmecinin verdiği bilgiye dayanan planı modelin kendi çıkardığı bilgiye dayanan planla karşılaştırırdım. Amaçlanan alıcı ve gerekli içerik sabit tutulurdu. Bu, Grov’un tamamlandığını bildirdiği bir deneyden ziyade anlattığı yönteme önerdiğim bir ek.[1]
Bilginin kaynağı değiştirildiğinde hangi planların değiştiği, açıklayıcı gözlem olurdu. Doğru bilgi verildiğinde plan düzeliyorsa, önceki bilgi çıkarma hatası makul bir açıklama kazanır. Başka bir açıklama da değerlendirmecinin girdiyi daha açık veya işlenmesi daha kolay hâle getirmesidir. Sunuluş biçimini karşılaştırılabilir tutmak bu olasılığı incelemeye yardımcı olur. Doğru bilgiye rağmen yanlış plan kurulması ise bilgi çıkarmanın ötesindeki bir güçlüğe işaret eder. Karşılaştırma adımların birbirine bağımlılığını incelerken, aracın planı uygulaması bütün uygulamanın değerlendirmesine kalır.[1]
Yerel denetim ve sonucun kapsamı
FFI, Çin’de geliştirilmiş açık ağırlıklı modelleri de sınıyor. Grov’a göre denemeler kontrollü sistemlerde yapılıyor ve test verileri üretici laboratuvarlara geri gönderilmiyor. Açık ağırlık, modelin öğrenilmiş parametrelerine erişimi anlatıyor; bildirilmiş bir başarım sonucu sunmuyor. Buradaki değerlendirme sorusu için önemli ayrıntı, girdilerle çıktıların incelendiği kontrollü ortam. Grov, eylemciye verilen işlem yeteneğinin ve özerkliğin de denetlenebildiğini söylüyor. Bir düzenekte elde edilen sonucun başka uygulamaya taşınmasında bu düzenek açıkça tanımlanmalı.[1]
Grov’un anlattıkları, becerileri araştırmak için bir yol sunuyor; parçaların ne kadar tutarlı birleştiğini gösteren yayımlanmış bir puan tablosu vermiyor. Ayrı sınamaları koruyup yanlarına bu aktarım karşılaştırmasını eklerdim. Böylece ekip, zayıf bir zincirin daha iyi bilgi çıkarmaya mı, daha anlaşılır bir ara gösterime mi, yoksa daha iyi planlamaya mı gereksinim duyduğunu sorabilir. Bu olasılıklar farklı değişiklikler gerektirir. Bileşen değerlendirmesinde gördüğüm değer, araştırma sorusunu tam olarak bu biçimde yerleştirebilmek. Bir sonraki yararlı sonuç, son eylem hâlâ sınamanın dışında tutulurken değerlendirmeci adımlar arasındaki bilgiyi düzeltmeyi bıraktığında neyin değiştiğini göstermeli.[1]