AWS, SageMaker AI üzerinde birden çok adımı izleyen eylemcilerin eğitimi için Wordle örneği yayımladı. Eğitim hizmeti ile oyunu ve ödülü işleten ortam ayrı çalışıyor; gizli sözcük modele gösterilmiyor. Örnek, belirteç ve çalışma ortamı giderlerini ayrı ayrı açıklarken, hatalı bir ödül tasarımının başarısız oyunlara bile olumlu puan verebildiğini anlatıyor.
AWS, davranışı ödüllerle eğiten pekiştirmeli öğrenmenin çok adımlı kullanımı için SageMaker AI üzerinde bir uygulama örneği yayımladı. Wordle oyununda eylemci görevin tamamı üzerinden eğitiliyor. SageMaker eğitim ve modelle, AgentCore ise oyun ile ödül işleviyle ilgileniyor. Model en fazla altı tahminde harflerin konumuna ilişkin geri bildirim alıyor; gizli sözcüğü yalnızca ortam ve puanlama işlevi görüyor.[1], [2]
Veri kümesi, doğru yanıt veya örnek hamle dizisi yerine görevlerden oluşuyor. Eğitimde 640, ayrı doğrulama kümesinde 128 sözcük kullanılıyor. AWS’nin anlattığı 100 adımlık çalışma 105.486 deneme içeriyor. Kuzey Virginia bölgesindeki belirtilen ücretlerle belirteç ücreti 338,50 dolar; AgentCore işlemci ve bellek kullanımı için buna yaklaşık 79 dolar ekleniyor. Hamle dizileri ve akıl yürütme uzadıkça tüketim artıyor.[1]
İlk ödül tasarımı, kaybedilen oyunlara olumlu puan veriyor ve kimi zaman yavaş çözümleri öne çıkarıyordu. Yenilenen tasarım, ana ödülü sonuca bağlıyor ve küçük ara ödülleri sınırlıyor. Uygulama kodu kimlik doğrulama, eşzamanlılık ve başarısız model çağrılarından doğan sorunları da ele alıyor. AWS, farklı yanıt üretim ayarları kullanan eğitim doğrulaması ile kullanım değerlendirmesini ayırıyor; daha fazla eğitim adımının etkisini sınamadığını belirtiyor.[1]
