EUROPA, JUPITER’de yaklaşık trilyon parametreli model eğitimini anlattı
EUROPA araştırma ortaklığı, Almanya’daki ortak kullanımlı JUPITER süper bilgisayarında 951,9 milyar parametreli dil modelini nasıl eğittiğini açıkladı. Teknik anlatım, modelin uzman bölümlerinin hızlandırıcılara dağıtılmasını, belleğin kullanılmasını ve düğümler arasındaki veri alışverişini kapsıyor. TorchTitan ile PyTorch üzerinde yapılan değişiklikler, eğitim düzeninin kamu altyapısındaki bellek ve ağ bağlantılarına göre kurulmasını sağladı. Çalışmaya Domyn ile Fraunhofer enstitüleri katılıyor.
Yapay Zekâ··Akşam
Ortak süper bilgisayarda eğitim
EUROPA araştırma ortaklığı, Almanya’nın Jülich kentindeki JUPITER süper bilgisayarında 951,9 milyar parametreli bir dil modeli için kurduğu eğitim düzenini anlattı. PyTorch üzerinden yayımlanan bu tek teknik belge, Domyn ve Fraunhofer enstitülerinin katıldığı çalışmayı açıklıyor. Kamu kaynaklarıyla finanse edilen bilgisayar, birden fazla araştırma projesine hizmet veriyor. Ekip, model eğitimini bu ortak altyapıya dağıtmak için PyTorch ve TorchTitan yazılımlarından yararlandı. Çalışmanın odağında eğitim sisteminin kurulması bulunuyor.[1]
Uzmanlar hızlandırıcılara dağıtılıyor
Model, girdinin bütün parametreleri çalıştırmak yerine seçilmiş uzman bölümleri etkinleştirdiği uzman karışımı mimarisini kullanıyor. Düzende 384 uzman bulunuyor; her belirteç için bunların sekizi seçiliyor. Böylece belirteç başına yaklaşık 32,8 milyar parametre etkinleşiyor. Bir eğitim kopyası 384 hızlandırıcıya yayılıyor. Dört kopya birlikte toplam 1536 hızlandırıcı kullanıyor. Düzen kurulurken hızlandırıcı belleğinin yanı sıra Grace işlemcilerinin belleğinden de yararlanılıyor. Toplam parametre sayısı ile etkin bölüm farklı büyüklükler taşıyor.[1]
Bellek ve ağ sınırları
Ekip, düğümler arasındaki veri alışverişinin getirdiği sınırları aşmak için belleği ve parametre aktarımını yeniden düzenledi. FlexShard yöntemi, model uzmanlarını parçalamadan bölümlere yerleştiriyor; böylece bazı eniyileştirme işlemlerindeki aktarım gereksinimi azalıyor. Diğer değişiklikler, veri aktarımını hesaplamayla aynı anda yürütüyor ve saklanan ara değerleri işlemci belleğine taşıyor.[1]
