NVIDIA, atomlar arası modellerde düşük hassasiyetli hesaplamayı sınadı
NVIDIA araştırmacıları ve İsviçre’deki EPFL’den bir araştırmacı, atom etkileşimlerini öğrenen bir modelde sayısal yöntemleri inceledi. Teknik çalışma, matris hesaplarını kuvvet, enerjinin korunması ve yapı gevşetmesi sınamalarıyla birlikte ele alıyor. Yazarlar, belirli donanım yöntemlerini ve iş yüklerini kendi deneylerinde değerlendirdi. İncelemede hesaplama süresinin yanında fiziksel davranışın izlenmesi de yer alıyor. Sonuçlar, sınanan model ve sistemlerle sınırlı.
Yapay Zekâ··Sabah
Atom modellerinde matris hesapları incelendi
NVIDIA araştırmacıları, atomlar arasındaki etkileşimleri hesaplayan makine öğrenmesi modeli Point Edge Transformer’da düşük hassasiyetli matris işlemlerini inceledi. Teknik çalışma, NVIDIA yongalarındaki özel hesaplama birimleri Tensor Core için sayısal yöntemleri ele alıyor. Yazarlar, bu yöntemleri hesaplama süresiyle birlikte fiziksel davranış bakımından da sınadı. İnceleme, belirli model ve iş yükleri üzerinde yapılan şirket deneylerine dayanıyor.[1], [2]
Parçalı hesaplar ortak çıktı biçiminde birleşiyor
Yaklaşım, bir matris çarpımını düşük hassasiyetli birkaç hesaba ayırıp sonuçları tek hassasiyetli kayan noktalı sayı biçiminde birleştiriyor. Girdi, ağırlık ve çıktı biçimleri aynı kalıyor; modeli yeniden eğitmek gerekmiyor. Yazarlar, NVIDIA’nın Blackwell ve Ampere adlı iki yonga mimarisi için farklı yöntemler inceliyor. Deneylerde modelin küçük ve büyük sürümleri ile farklı büyüklükte su sistemleri kullanılıyor. Böylece inceleme hem sayısal yöntemi hem sınanan iş yükünü belirtiyor.[1]
Enerji ve yapı gevşetmesi denetleniyor
Yazarlar, su benzetiminde toplam enerjinin korunmasını ve bir alaşımın yapı gevşetmesi sırasında hedef kuvvet eşiğine ulaşmasını inceliyor. Enerji, kuvvet ve gerilme tahminleri de temel hesaplama yoluyla karşılaştırılıyor. Bu sınamalar, yazarların kendi teknik değerlendirmesinin parçası. Çalışmada model büyüklüğü ve matris çarpımı dışındaki işlemler, toplam süreyi etkileyen unsurlar arasında sayılıyor. Kullanılan fiziksel ölçütler, su dinamiği ile alaşımın gevşetilmesi gibi belirli deneylere ait.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
