Bozulan girdi, değişen açıklama
Bir modelin hangi girdiye önem verdiğini gösteren çizelgeyi, verinin kalitesine dair bir güvence gibi okumak kolay. Zeinab Mohamed ve Tamer Oraby’nin yeni çalışması bu çizelgenin de ölçüm hatasından etkilendiğini gösteriyor. Araştırmacılar üç girdi üretti: ikisi sonucu belirliyor, üçüncüsü tahmin gücü taşımıyordu. Sonra önemli girdilerden birini hatalı karşılığıyla değiştirdiler. Modelin verdiği önem, baştan bilinen gerçek ilişkinin gücünden uzaklaşabiliyordu. Açıklama aracı, modelin elindeki bozulmuş bilgiyi izliyordu.[1]
Karşılaştırma doğrusal modelleri, destek vektör makinelerini, rastgele ormanları, XGBoost’u ve çok katmanlı algılayıcıları kapsıyor. Sınıflandırma ile sayısal tahmin görevleri birlikte incelenmiş; her veri kümesi için ayarlar yeniden seçilmiş. Bu, sonucu basitçe kötü model ayarına bağlama açıklamasını zayıflatıyor. Deneyin başlangıçta doğru girdilerle hesapladığı başarım da hatalı girdiler için bir karşılaştırma sağlıyor. Araştırmacı hangi değişkenin gerçekten sonucu belirlediğini bildiğinden, tahmin başarımı ile modelin değişkenlere dağıttığı önemi aynı deneyde takip edebiliyor.[1]
Örneklem büyüyor, kayıp sürüyor
Örneklem büyüklükleri 2000, 3000 ve 4000 olarak değiştirildi. Daha büyük örneklem, ölçüm hatasının yarattığı başarım kaybını daha istikrarlı hesaplamayı sağladı; genel bozulma örüntüsünü ortadan kaldırmadı. Bu sonuç özellikle veri toplamayı model iyileştirmenin otomatik yolu sayan ekipler için önemli. Aynı hatalı ölçüm sürecinden daha fazla örnek almak, modelin önündeki bilgiyi her seferinde benzer biçimde bozabilir. Belirsizlik daralırken girdideki kayıp kalıyor. Bu benzetimde daha kesin sonuç, daha temiz bilgi anlamına gelmiyor.[1]
Hatanın türü de sonucu değiştiriyor. Klasik ölçüm hatası gerçek değerin çevresine gürültü eklerken, grup ortalaması atamak bireyler arasındaki farkı bastırıyor. Kategoriyi yanlış yazmak başka bir bozulma yaratıyor. Çalışmada yanlış sınıflandırma bazı koşullarda etkilenen girdinin önemini neredeyse sıfıra indiriyor; klasik hata daha kademeli değişim üretiyor. Girdiye daha az önem verilmesi, o değişkenin gerçekte önemsiz olduğu anlamına gelmeyebilir. Veri toplama biçimi ile öğrenilen açıklamayı birlikte incelemek, bu iki olası nedeni birbirinden ayırmanın başlangıcı.[1]
Hatanın nereden geldiğini sınamak
Benzetimin gücü, bozulmanın nereden geldiğini araştırmacının kontrol etmesi. Başlıca deneyler bağımsız ve sonuca koşullu olarak bağlı olmayan girdi hataları kullanıyor. Gerçek veri ise birden çok değişkende ilişkili hatalar taşıyabilir; hata büyüklüğü kişi gruplarına göre de değişebilir. Klasik hata için doğrusal olmayan ilişkiyle yapılan ek sınama sonuçların tek bir doğrusal düzene bağlı olmadığına işaret ediyor. Diğer hata türlerini daha karmaşık süreçlerde sınamak, araştırmanın genellenebilirliğini genişletecek somut bir sonraki adım.[1]
Benim çıkarımım, özellik önemini raporlayan bir ekibin ölçüm sürecini de sınamaya katması gerektiği. Güvenilir ölçümün mevcut olduğu bir alt örneklem, modelin düşük önem verdiği girdinin gerçekten zayıf mı, yoksa kötü ölçülmüş mü olduğunu test etmeye yarar. Aynı veri üzerinde hata duyarlı öğrenme ile olağan eğitimin karşılaştırılması da işe yarayabilir; bu çalışma böyle bir düzeltmenin başarısını ölçmüyor. Yeni benzetim, daha karmaşık bir model seçmeden önce hangi bilgi kaybının telafi edilmesi gerektiğini araştırmak için gerekçe veriyor.[1]