Değişiklik yığının neresinde

DLR-Lock, modeldeki her önceden eğitilmiş çok katmanlı algılayıcıyı benzer parametre sayısına sahip derin düşük kerteli bir artık ağla değiştiriyor. Bu ağlar birim birim damıtmayla eğitiliyor ve geri yayılım sırasında derinlikle doğrusal büyüyen bir etkinleştirme belleği zorunlu kılıyor. Makaleye göre ortaya çıkan mimari uyuşmazlık standart ince ayarın eniyileme yüzeyini zorlaştırıyor, geri geçiş de ileri geçişe göre orantısız biçimde daha fazla yük getiriyor.[1]

Yazarlar savunmanın özgün modelin yeteneklerini koruduğunu bildiriyor. Yani değişiklik model katmanında duruyor ve modeli çalıştıran taraf büyük ölçüde yerinde kalıyor; yükün tamamı türev alan tarafa biniyor. Bir geliştirici için bu ayrım önemli, çünkü bir modeli çalıştırmakla onu kendi verisiyle uyarlamak aynı bütçe kaleminden çıkmıyor.[1]

Yükü kim taşıyor

Derinlikle doğrusal büyüyen bir etkinleştirme belleği, tek bir hızlandırıcıda ince ayar yapan küçük bir ekibin ilk çarptığı sınırdır. Kümesi olan bir laboratuvar aynı yükü daha fazla belleğe bölerek karşılayabilir. Buradan çıkardığım sonuç şu: yöntem uyarlamayı olanaksız kılmaktan çok, uyarlama olanağını donanım bütçesine bağlıyor. Başka bir açıklama da elde: damıtmayla yeniden kurulan ağ ileri geçişte de gider getiriyorsa, yük yalnızca uyarlayan tarafta kalmaz.[1]

Bu okumanın sınırı sayıların yokluğu. Yayın sayfası nicel sonuç, karşılaştırma kümesi adı ya da bir yük çarpanı vermiyor; yalnızca dil modelleri üzerindeki deneylerin savları doğruladığını söylüyor. Bir savunmanın ne kadar koruduğu ise o çarpanın büyüklüğünde saklı. Geri geçişi iki katına çıkaran bir yöntemle on katına çıkaran bir yöntem, aynı geliştirici için bambaşka iki karar demek.[1]

Karar hangi soruya bağlı

Açık ağırlıklı bir modele bağlanan bir ekip bugüne kadar iki soru soruyordu: ağırlıklar indirilebiliyor mu ve lisans ne diyor. DLR-Lock üçüncü bir soru ekliyor: bu ağırlıkları kendi verinizle uyarlamanın donanım gideri ne kadar? Bu yanıt yayımlanmadığı sürece, açık yayımlanmış bir modelin geliştiriciye bıraktığı seçenek kümesi ölçülemez kalıyor. Bence tartışmanın merkezi lisans metninden ölçülebilir bir gidere kayıyor ve ölçüm yayımlanana kadar orada asılı duruyor.[1]