Hugging Face, Transformers değişiklikleri için küçük model sınamaları öneriyor
Hugging Face, Transformers kitaplığındaki değişiklikler için yeniden kullanılabilir küçük model sınamaları öneriyor. Her sözleşme küçültülmüş modeli, çalıştırılabilir kullanım örneğini ve insanların onayladığı beklenen sonuçları birleştiriyor. Kasımda yayımlanan deneyim yazısı, daha önce düzeltilmiş bir hatanın yeniden sınanmasını ve mevcut kapsamın sınırlarını anlatıyor. Şirkete göre bütünleştirme işi, başarısızlıkları bildiriyor fakat önerilen kod değişikliklerini durdurmuyor.
Yapay Zekâ··Gece
Küçük modellerle bütünleştirme sınaması
Model yazılım kitaplığı Transformers’ı geliştiren Hugging Face, kitaplıktaki değişiklikleri sınamak için Model Integration Contracts adlı model bütünleştirme sözleşmelerini önerdi. Şirketin kasım ayında yayımladığı deneyim yazısı, küçük deneme modellerini çalıştırılabilir örneklerle ve insanların gözden geçirdiği beklenen sonuçlarla eşleştiriyor. Gerçek bir modelin yapılandırması küçültülürken farklı katman türleri korunuyor. Metni parçalara ayıran ve girdiyi işleyen dosyalar değiştirilmediği için yükleme ve ön işleme de sınamanın içinde kalıyor.[1]
Eski bir hatanın yeniden sınanması
Yazı, yöntemi daha önce giderilen bir UMT5 model hatasıyla örnekliyor. Temmuzdaki dikkat mekanizması değişikliği, eğitim sırasında kod çözücünün sonraki metin parçalarına erişmesine izin verdi; eylülde yapılan düzeltme bunu kapattı. Aradaki yazılım değişiklikleri sabitlenmiş küçük modelle yeniden çalıştırılınca sorunlu davranış ortaya çıktı. Varsayılan dikkat uygulamasını kullanmak belirleyiciydi; başka bir uygulama hatayı göstermedi. Sözleşmeler ayrıca eğitim kaybını, hesaplanan değişim değerlerinin sonlu kalmasını ve bir eniyileme adımının model ağırlıklarını değiştirip değiştirmediğini sınayabiliyor.[1]
İnsan onayı ve kapsam
Otomatik bir yardımcı, sözleşmenin örnek kodunu hazırlayabiliyor; beklenen sonuçlardaki değişiklikleri ise insanların onaylaması gerekiyor. Kabul edilen deneme modelleri ve başvuru sonuçları, yeniden kullanılmak üzere belirli sürümlere sabitleniyor. Hugging Face, 1 Kasım itibarıyla sürekli bütünleştirme işinin hataları bildirdiğini fakat önerilen kod değişikliklerini durdurmadığını belirtiyor. Kapsam kısmi kalıyor. Ekibin Whisper ses modeli deneylerinde hem rastgele ağırlıklı hem özel eğitilmiş küçük modeller, gerçek ağırlıklarla bulunan yardımcı kod çözme hatasını kaçırdı. Ekip, kapsamı ve yanlış alarmları değerlendirirken mevcut sınamaları koruyor.[1]
