Donanımın ulaştığı katman
Bir yapay zekâ eylemcisi müşteri verisini getirip bir araç çağırdığında, modelin yanıtı dışında da makineler çalışır. Veritabanı, önbellek ve uygulama hizmetleri işlemci zamanı tüketir. Cobalt 200 sanal makinelerinin genel erişime açılması bu katmana yeni bir donanım seçeneği getiriyor. Arm’ın anlattığı kullanım alanları kod çalıştırma, veri getirme ve uygulamalar arasında görev düzenleme. Altyapı işletmecisi açısından başlangıç noktası, bu işlerin hangi makinede biriktiği.[1]
Cobalt 200, Arm Neoverse CSS V3 tabanını kullanıyor. Microsoft buna sıkıştırma, şifreleme hızlandırıcıları ve çekirdek başına güç yönetimi ekliyor. Bu bileşenler aynı sunucunun farklı işlerini ilgilendiriyor: taşınan verinin hazırlanması, güvenli işlenmesi ve işlemci çekirdeklerinin yönetilmesi. Benim burada önemsediğim sistem sınırı bu. CPU katmanına yapılan yatırımın değeri, hizmetin o katmanda ne kadar iş yaptığına bağlı; bir eylemcinin bütün maliyetini tek işlemciye yazmak hesabı bozuyor.[1]
Genel erişim somut bir kullanım aşaması. Amadeus, Databricks, InMobi, OpenAI, SAP ve Snowflake, Arm’ın adını verdiği müşteri örnekleri. Bunlar aynı uygulamayı çalıştıran tek bir karşılaştırma kümesi oluşturmuyor. Alıcı için yararlı ayrım, kendi veritabanı ve araç hizmetlerini yeni CPU üzerinde değerlendirebilmek ile bütün eylemci hizmetinin verimliliğini peşinen kazanılmış saymak arasında. İkincisi, model sunumu ve diğer hizmetlerin aynı iş yükündeki payına da bağlı.[1]
Kapasiteyi doğru işe yerleştirmek
Arm, eylemcilerin CPU’nun rolünü genişlettiğini savunuyor. Bu mekanizma anlaşılır: araç çağrıları ve veri hizmetleri arttığında bunları yürüten makineler de kapasiteye ihtiyaç duyar. Yine de aynı hizmette bekleme ağırlığı model sunumunda veya başka bir ağ bağlantısında toplanabilir. Böyle bir durumda daha yetenekli CPU, toplam yanıt süresini sınırlayan darboğaza ancak kısmen dokunur. Yeni işlemciye geçişin gerekçesi, beklemenin ve kaynak kullanımının hangi katmanda yoğunlaştığıyla birlikte kurulmalı.[1]
Çekirdek başına güç yönetimi de aynı hesap disiplinini gerektiriyor. Bu özellik, işlemcinin güç kullanımını yönetmek için bir araç. Hizmetin toplam enerji hesabında model sunan makineler, veri hizmetleri ve bunların ne kadar dolu çalıştığı birlikte yer alıyor. CPU tarafındaki iyileşmeyi bütün hizmetin tasarrufu olarak okumak için aynı işi, aynı yanıt süresi hedefiyle karşılaştırmak gerekir. Aksi halde farklı iş yüklerini aynı enerji sonucuymuş gibi toplarız.[1]
Cobalt 200 için kullanışlı satın alma sorusu, mevcut hizmette CPU’ya düşen işi hangi kapasiteyle karşılamak gerektiği. Kod çalıştırma, veri getirme, sıkıştırma ve şifreleme burada somut başlangıç noktaları sağlıyor. Önce bu işlerin tamamlanan görev başına harcadığı işlemci süresi ve hizmetin toplam gecikmesindeki yeri belirlenir; sonra yeni sanal makinenin katkısı değerlendirilir. Genel erişime açılan donanımı gerçek kapasiteye çeviren adım, uygulamanın darboğazına uygun yerleştirme.[1]