InstantStart, HyperPod kümelerini tek denetim yolunda yönetiyor
AWS'nin açık kaynaklı InstantStart katmanı, SageMaker HyperPod kümelerini web arayüzü veya yapay zekâ eylemcisiyle yönetiyor. AWS Machine Learning Blog ile Unite.AI, iki girişin aynı REST arayüzlerini ve doğrulamaları kullandığını; küme kurulumu, kapasite, eğitim, çıkarım ve depolamanın izlenebilir işlemlere dönüştüğünü aktarıyor. Otomatik düğüm kurtarma öntanımlı olarak açık geliyor.
Yapay Zekâ··Öğle
Tek arka uçta iki giriş
AWS, InstantStart'ı SageMaker HyperPod kümeleri için açık kaynaklı bir denetim katmanı olarak tanımlıyor. Web arayüzü ile yapay zekâ eylemcisi, aynı arka uçtaki REST arayüzlerini çağırıyor; böylece iki yol aynı doğrulamalardan geçiyor ve aynı kalıcı işlem durumunu okuyor. Unite.AI, katmanın kullanıcının AWS hesabında veri yolunun dışında tek bir yönetim kabı olarak çalıştığını aktarıyor. Oluşturduğu kaynaklar standart AWS ve Kubernetes nesneleri olarak kalıyor. Bu yapı, doğal dille verilen bir isteği ayrı ve görünmez bir yönetim sistemine taşımadan mevcut bulut nesnelerine dönüştürüyor.[1], [2]
Kurulumdan düğüm kurtarmaya
InstantStart; EKS altyapısının kurulmasını, örnek gruplarını, kapasiteyi, depolamayı ve çok kümeli durumu aşamalı işlemler halinde yönetiyor. AWS Machine Learning Blog, otomatik düğüm kurtarmanın öntanımlı olduğunu ve derin sağlık denetimlerinin grafik işlemciler ile Elastic Fabric Adapter bağlantısını sınayabildiğini yazıyor. Unite.AI aynı mekanizmayı, arızalı düğümlerin yeniden başlatılması veya değiştirilmesiyle ilişkilendiriyor. Eylemci önce mevcut kümeleri ve geçerli bölge seçeneklerini okuyor, ardından bağımlılık sırasını izliyor. Bu sıra, kurulumu tek komuta indirirken her adımın durumunu görünür tutmayı amaçlıyor.[1], [2]
İki eğitim yolu
Eğitim işlerinde iki yol sunuluyor. HyperPod eğitim operatörü, süreç düzeyinde hata kurtarma ve günlük örüntülerinden takılan işleri saptama özellikleri taşıyor. KubeRay ise pekiştirmeli öğrenme gibi Ray tabanlı iş yüklerine yöneliyor. AWS ayrıca eğitim tarifleri, çıkarım dağıtımı, model depolama ve MLflow bütünleşmesini aynı katmanda topluyor. Unite.AI'ın aktardığı tasarımda Model Context Protocol araçları REST arayüzlerini sardığı için, web ekranına eklenen bir doğrulama eylemci yoluna da uygulanabiliyor. Kaynaklar bağımsız bir başarım kıyası vermiyor; duyuru, işleyiş ve denetim tasarımını açıklıyor.[1], [2]
