Haftalık ölçümler yanıt süresini izliyor
Amazon’un bulut bilişim şirketi Amazon Web Services, SageMaker AI’da belirli uç noktalar için izlemeyi varsayılan olarak açtığını duyurdu. Uç noktalar, modele gelen istekleri alıp yanıtları ileten hizmetler. Yeni denetimler, model sunmak için vLLM yazılımı ile grafik işlemcisi kullanan uygun üretken yapay zekâ sistemlerini kapsıyor.[1]
SageMaker, modelin yanıt vermeye başlaması ve yanıtı tamamlaması için geçen sürelerin ortanca değerlerini haftadan haftaya karşılaştırıyor. Uzun süre boşta kalan grafik işlemcilerini de saptayabiliyor. AWS’ye göre denetimler toplu çalışma verilerine dayanıyor, tek tek istek ve yanıtların içeriği okunmuyor.[1]
