NVIDIA, eğitim ve çıkarım GPU’ları arasında doğrudan ağırlık aktarımını açıkladı
NVIDIA, güncellenen model ağırlıklarını ayrı eğitim ve çıkarım sistemleri arasında taşıyan Reshard yöntemini ayrıntılandırdı. Yöntem, önce tam kopyayı herkese göndermek yerine her alıcının ihtiyacı olan parçaları eşleştiriyor. Teknik açıklama, iletişim düzenini ve NeMo RL bağlantısını anlatıyor. Katılan GPU grubunun değişmesi ise mevcut uygulamada iletişim yapısının yeniden kurulmasını gerektiriyor.
Yapay Zekâ··Akşam
Güncel ağırlıklar ayrı GPU grupları arasında taşınıyor
NVIDIA, modellerin üretilen yanıtlara verilen geri bildirimle öğrendiği pekiştirmeli öğrenme süreci için Reshard yöntemini açıkladı. Eğitim ve yanıt üretimi, ayrı grafik işlem birimlerinde, yani GPU’larda yürütülebiliyor. Eğitim modelin öğrendiği değerleri taşıyan ağırlıkları değiştirdikçe bu güncellemelerin çıkarım grubuna ulaşması gerekiyor. İki grup farklı büyüklükte olabiliyor; aynı veriyi farklı biçimde parçalara ayırabiliyor. Şirketin teknik yayını, bu gruplar arasındaki ağırlık aktarımının nasıl düzenlendiğini ele alıyor.[1]
Her alıcı gereken tensör parçalarını alıyor
Reshard, ağırlıkları taşıyan çok boyutlu veri dizilerinin, yani tensörlerin kaynak ve hedef düzenleri arasındaki kesişimleri hesaplıyor. Her alıcının gereken parçaları alması için PyTorch DTensor tanımlarından yararlanıyor. NVLink bağlantısıyla birbirine bağlı birkaç alıcının kullanacağı veri ağdan bir kez geçip yerelde paylaşılabiliyor. Ağ aktarımı ve yerel dağıtım eş zamanlı ilerliyor. Yöntem, önce tam bir kopya hazırlayıp tüm alıcılara gönderme adımı yerine doğrudan eşleştirme kullanıyor.[1]
NeMo RL iki aktarım yolunu birleştiriyor
Açık örnek uygulama NVIDIA’nın nccl-extensions deposunda bulunuyor; şirket NeMo RL eğitim altyapısıyla bağlantısını da açıklıyor. Karma düzende büyük ileri yönlü hesaplama katmanlarının ağırlıkları Reshard yolundan, küçük ağırlıklar ise geleneksel toplama ve dağıtma yolundan taşınıyor. Mevcut uygulamada gruba katılan GPU’lar değiştiğinde iletişim yapısının yeniden kurulması gerekiyor. Yapıyı dinamik olarak daraltıp genişletmek gelecek çalışmalar arasında. Tasarım ve deneyler tek NVIDIA yayınına dayanıyor; bağımsız doğrulanmış hız kazancı aktarılmıyor.[1]
