Aynı uyarlayıcı, değişen koşullar

AWS’nin 23 Ekim’de yayımladığı Wordle denemesinde, aynı eğitilmiş model iki farklı başarı oranıyla karşımıza çıkıyor. Eğitim sırasındaki son doğrulama ölçümü yüzde 37. Gerçek kullanım için seçilen ayarlarda bildirilen çözüm oranı yüzde 84. Wordle, gizli sözcüğü harf ipuçlarıyla bulmaya dayanan bir oyun. Buradaki ilginç soru, modelin hangisinde gerçek yeteneğini gösterdiği kadar, bu ölçümlerin hangi koşullarda yapıldığı. Sonucu okumadan önce ayarları eşleştirmek gerekiyor.[1]

Eğitim doğrulaması, yanıt seçimindeki rastlantısallığı belirleyen sıcaklık ayarını 0’da ve akıl yürütme çabasını düşük düzeyde tutuyor. Kullanım değerlendirmesindeki yüzde 84 ise sıcaklık 1,0 ve orta düzey çabayla elde ediliyor. Böylece aynı uyarlayıcı, yani eğitimle modele eklenen küçük ağırlık kümesi, farklı üretim koşullarında sınanıyor. Bu iki sonuç arasındaki farkı ek eğitimin kazancı saymak yanlış olur. Sıcaklık ile akıl yürütme çabası birlikte değiştiği için, bu karşılaştırma onların katkılarını da tek tek ayırmıyor.[1]

Eşleşmiş karşılaştırmanın değeri

Eğitimin katkısına ilişkin daha yararlı karşılaştırma başka yerde: AWS, orta düzey çaba ve sıcaklık 1,0 altında temel model için yüzde 61, eğitilmiş model için yüzde 84 bildiriyor. Burada üretim ayarları eşleşiyor. Benim çıkarımım, kazanç iddiasını bu eşleşmiş çiftin taşıdığı yönünde. Yüzde 37’lik eğitilmiş model sonucuyla yüzde 61’lik temel model sonucunu yan yana koymak ise model değişikliğine ayar değişikliğini de ekliyor. Böyle bir sıralama, eğitimin etkisi hakkında ters bir izlenim verebilir.[1]

Sıcaklık 0 ile doğrulama yapmanın güçlü bir gerekçesi var. Yazarlar, aynı seçimin tekrarlandığı bu yöntemin eğitim eğrilerini daha karşılaştırılabilir kıldığını belirtiyor. Dolayısıyla yüzde 37’yi ölçüm hatası diye atmak da uygun değil. O sonuç, belirli bir kullanım biçimini anlatıyor. Rastlantısal örneklemenin açık olduğu üretim ayarları başka bir soruyu yanıtlıyor. İyi değerlendirme, daha yüksek sayıyı seçmek yerine, kullanıcıya sunulan modelin koşullarını açıkça belirtir ve temel modeli de aynı koşullarda sınar.[1]

128 sözcüklük sınama

Örneğin kapsamı da dar. Yazarlar eğitimde 640, doğrulamada bunlarla çakışmayan 128 sözcük kullanıyor. Gizli yanıtı model değil, oyun ortamı ve ödül işlevi görüyor. Bu düzen, eğitim listesinden ayrı sözcükleri çözme başarısını sınamak için anlamlı. Yine de aynı oyundaki bu ayrım, başka görevlerde başarıyı göstermiyor. Üstelik yüzde 84, iki çalıştırmanın yüzde 80 ve yüzde 88 olan sonuçlarının ortalaması. Tek sayı, çalıştırmalar arasındaki bu oynaklığı görünmez kılabiliyor.[1]

Bunlar şirketin kendi Wordle sonuçları; bağımsız bir tekrar veya genel model üstünlüğü sonucu değiller. Yöntemin yararlı yanı, aynı temel model ile eğitilmiş sürümü farklı ayarlarda karşılaştırmaya açması. Daha güçlü sınama, önceden sabitlenmiş ayarlar altında her iki sürümün tekrarlı sonuçlarını ve yeni bir sözcük kümesindeki başarısını birlikte yayımlamak olur. Böylece öğrenilen kazanımın yeni sözcüklere ne ölçüde taşındığı, üretim ayarlarının sağladığı avantajdan daha açık biçimde ayrılabilir.[1]