AWS, iç satış ekibinin kullandığı eylemci yapay zekâları değerlendirmek için dokuz aşamalı bir düzen açıkladı. Sistem, sayıların yanı sıra dönem ve müşteri hatalarını da güvenlik, hız ve gider ölçütleriyle birlikte denetliyor. Sürüm öncesi sınamalar, canlı deneme sorguları ve geri bildirim aynı değerlendirme döngüsünü besliyor. 16 Ekim tarihli teknik açıklama, şirketin kendi uygulamasını ve bu uygulamadan aktardığı deneyimi anlatıyor.
Bulut hizmeti sağlayıcısı AWS, 16 Ekim tarihli teknik açıklamasında iç satış ekiplerinin kullandığı eylemci yapay zekâları nasıl denetlediğini anlattı. Devreye alma öncesindeki bir yanıtta tutara yanlışlıkla milyon birimi eklendi. Başka bir yanıtta yıllık yinelenen gelir için veriyle desteklenmeyen bir tutar yer aldı. Şirketin değerlendirme düzeni, sistemin yanıt vermesinin yanında yanıtın anlamını da denetliyor.[1]
Dokuz aşama; başarının tanımını, deneyleri, kod birleştirme ve dağıtım denetimlerini, canlı deneme sorgularını, kötüye kullanım sınamalarını, zamanla değişimi izlemeyi ve geri bildirimi kapsıyor. Araçlar, tekil eylemciler ve birlikte yürüttükleri işler için ayrı doğrulanmış sınama kümeleri bulunuyor. Kesin yanıtı bilinen bilgiler doğrudan denetlenirken akıl yürütme ve yararlılığı dil modeli hakemleri değerlendiriyor. Nitelik, güvenlik, gecikme ve gider birlikte ele alınıyor.[1]
Sürüm öncesi kısa kümede 15 yüksek riskli durum var; tam kullanıma geçmeden önce daha geniş değerlendirme yapılıyor. Canlı deneme sorgularında 30 dakikalık dönemler kullanılıyor. Art arda üç dönem eşik aşılırsa nöbetçi ekibe uyarı gidiyor. Düşük puanlı oturumlar kalıcı hata sınamalarına ekleniyor. AWS, kendi uygulamasının ayrıntılarını tek bir teknik açıklamada paylaşıyor. AgentCore değerlendirme hizmetleri, işlem izleri ve saklanan sonuçlar hatanın yerini bulmaya yardımcı oluyor.[1]
