NVIDIA Snapshot, hazırlanmış GPU iş yüklerini yeniden kullanıma açıyor
NVIDIA, başlangıç hazırlığı tamamlanmış GPU iş yüklerini saklayıp yeni kopyaları bu durumdan çalıştıran Snapshot aracını yayımladı. Kubernetes üzerinde çalışan araç, model yükleme ve derleme işlemlerinin tekrarını azaltmayı amaçlıyor. Geri yükleme için aynı GPU modeli ve sürücü gerekiyor. Kapsayıcı görüntüsünün indirilmesi ile altyapı sağlama işlemleri ayrıca yürütülüyor; süren konuşmaların önbelleği de saklanan duruma dahil edilmiyor.
Yapay Zekâ··Öğle
Başlangıç hazırlığı yeniden kullanılabiliyor
NVIDIA, başlangıç hazırlığı tamamlanan GPU iş yüklerini saklayan ve yeni kopyaları bu durumdan başlatan Snapshot aracını yayımladı. Açık kaynak araç, kapsayıcı uygulamalarını yöneten Kubernetes üzerinde çalışıyor. İşlemci belleği ile grafik işlem biriminin, yani GPU’nun belleği birlikte yakalanıyor. Yeni çıkarım kopyası böylece model ağırlıklarını yeniden yüklemeden, derlemeyi tekrarlamadan ve CUDA yürütme grafiklerini baştan hazırlamadan saklanan durumdan devam edebiliyor.[1], [2]
Geri yükleme donanım uyumu gerektiriyor
Hedef düğümün, saklanan iş yüküyle aynı GPU modeline ve sürücüye sahip olması gerekiyor. Tek düğümde birden fazla GPU’ya yayılan uyumlu işler birlikte yakalanabiliyor. Kubernetes kaynakları çalışan bir uygulama kümesini saklayabiliyor veya yeni iş yükünü başlatıp hazır olduğunda kontrol noktası oluşturabiliyor. Uygulama da küçük bir eşgüdüm mekanizmasıyla yakalama öncesinde duruyor ve geri yükleme sonrasında devam ediyor. Kontrol noktasının oluşturulması ve saklanması ayrıca gider yaratıyor.[1]
Kapsayıcı hazırlığı ayrıca yürütülüyor
Snapshot, iş yükünün içinde tamamlanan hazırlığı yeniden kullanıyor. Kapsayıcı görüntüsünün indirilmesi, çalışma ortamının kurulması ve altyapının sağlanması NVIDIA’nın tarif ettiği geri yükleme yolunun dışında kalıyor. Modelin süren bağlamı için kullanılan anahtar-değer önbelleği, kontrol noktası oluşturulmadan önce serbest bırakılıyor ve saklanan çıktıya alınmıyor. Bu sınırlar, başlangıç hazırlığının yeniden kullanılmasıyla etkin konuşmaların otomatik taşınmasını birbirinden ayırıyor. Açıklanan kapsam, tek düğümdeki uyumlu işleri içeriyor; farklı donanımlar arasında her tür işi taşıyan genel bir hizmet sunulmuyor.[1]
