Tam doğrulayıcı daha az yamayı geçiriyor

SWE-Serve, birleştirilmiş SGLang değişikliklerinden 53 görev kuruyor. Canlı sunucu açan 19 görevde aynı yamalar, canlı testler çıkarılınca yüzde 69,4, tam doğrulayıcıda yüzde 45,9 geçiyor. NVIDIA'nın 23 Eylül tarihli yazısı, 147 yamanın canlı testler düşünce başarısızdan başarılıya döndüğünü sayıyor.[1]

On iki görev işlemcide, 41 görev tek bir H100 üzerinde koşuyor. Geçiş, gizli doğrulayıcının yamayı kabul etmesi. Yazarlar, bunun SGLang'ın yukarı akış incelemesinden ayrı durduğunu ve birleşmeye hazır bir yama anlamına gelmediğini yazıyor. Ölçüm 11 modeli mini-swe-agent ile, kapalı kitap koşullarında çalıştırıyor.[1]

Yüzde 69.4, sunucudan önceki hâli sayıyor

Yüzde 69.4 ile yüzde 45,9 aynı yamaların iki doğrulayıcıdaki hâli. Yüksek olanı, ölçüm sunucu açılmadan durduğunda görünen geçme oranı. Bu beni canlı sunucunun ayrı bir kontrol olduğuna yaklaştırıyor; canlı testlerin aynı davranışın daha uzun bir listesi olması da açık bir olasılık.[1]