Eigen RadarYapay Zekâ
Analiz

Amazon SageMaker, yapay zekâ hizmetlerinde yavaşlamayı kendiliğinden bildirecek

Amazon Web Services, SageMaker’da üretken yapay zekâ modellerini çalıştıran uygun sistemler için izlemeyi varsayılan olarak açtığını duyurdu. SageMaker, yanıtlar geciktiğinde veya grafik işlemcileri uzun süre boşta kaldığında ekipleri uyarabiliyor. Şirket, müşterilerin farklı ayarları ayrı makinelerde deneyebildiğini ve mevcut sistemin bu sırada gerçek istekleri karşılamayı sürdürdüğünü belirtiyor.

Yapay Zekâ··Sabah
Güneş ışığı alan bir bulut donanımı test atölyesinde, yan yana iki ayrı açık kasalı grafik işlemci test düzeneği ve bakır soğutuculu GPU modülleri.

Haftalık ölçümler yanıt süresini izliyor

Amazon’un bulut bilişim şirketi Amazon Web Services, SageMaker AI’da belirli uç noktalar için izlemeyi varsayılan olarak açtığını duyurdu. Uç noktalar, modele gelen istekleri alıp yanıtları ileten hizmetler. Yeni denetimler, model sunmak için vLLM yazılımı ile grafik işlemcisi kullanan uygun üretken yapay zekâ sistemlerini kapsıyor.[1]

SageMaker, modelin yanıt vermeye başlaması ve yanıtı tamamlaması için geçen sürelerin ortanca değerlerini haftadan haftaya karşılaştırıyor. Uzun süre boşta kalan grafik işlemcilerini de saptayabiliyor. AWS’ye göre denetimler toplu çalışma verilerine dayanıyor, tek tek istek ve yanıtların içeriği okunmuyor.[1]

Her hizmet için bulgular tek bildirimde toplanıyor

Bir uç noktaya ilişkin bulgular, şirketin uyarı hizmeti AWS Health üzerinden tek bildirimde toplanıyor. Ekip, bildirimi sistemin çalıştığı bölgenin yönetim ekranından veya e-postayla alabiliyor. Müşteri bir uç noktayı izlemenin dışında bırakabiliyor. Bu durumda o hizmet için ilgili ölçümler toplanmıyor.[1]

Denemeler sürerken hizmet istekleri karşılamaya devam ediyor

Ekipler, yakın dönemdeki istek yoğunluğunu SageMaker Studio’da kullanarak farklı makineleri veya model ayarlarını karşılaştırabiliyor. Deneme, yanıt sürelerini, sistemin işleyebildiği istek miktarını ve metin üretim maliyetini kapsayabiliyor. AWS’ye göre ayrı makinelerde yürütülen denemelerde olağan işlem ücretleri uygulanıyor. Çalışan hizmet bu sırada kendi ayarlarıyla görevini sürdürüyor.[1]

Kaynakça

  1. Haber kaynağıAWS Machine Learning BlogAmazon SageMaker, yavaşlayan yapay zekâ hizmetlerini kendiliğinden izleyecek↩1↩2↩3↩4