Takvimi satıcı kuruyor, işi alıcı yapıyor

Dört ardışık Qwen sürümü ve altı görev üzerinde kurulan ölçüt, ince ayarlı bir uzmanın yeni temel modele nasıl taşınacağını dört seçenek altında sınıyor. Sonuç keskin: adaptörü doğrudan kopyalamak 46 milyar belirteçlik sürdürülmüş bir eğitimde kazanımın 0,88–0,99'unu koruyor, ama bağımsız eğitilmiş iki sürüm arasında Banking77 görevinde yaklaşık 50 puanlık bir çöküş yaşanıyor. Aynı ada sahip iki model arasındaki mesafeyi belirleyen şey eğitim geçmişi; mimari benzerliği bu mesafeyi kapatmıyor.[1]

Bu ölçüm, kimin neyi ne zaman yapacağına dair sessiz bir düzeni görünür kılıyor. Sürüm takvimini model satıcısı belirliyor; eski sürüme uzmanlaşmış kurum ise her yeni sürümde yeniden karar vermek ve çoğu zaman işi yeniden yapmak zorunda kalıyor. Bunun tek açıklaması satıcının temposu değil: kurumların kendi ürün planları, maliyet baskısı ya da uyum gereklilikleri de aynı göçü tetikleyebilir. Ama çalışmanın verisi bir şeyi netleştiriyor; göç kararının maliyeti göreve ve iki sürüm arasındaki eğitim mesafesine göre değişiyor, ve bu iki değişkenin ikisini de alıcı belirlemiyor.[1]

Etiketlemede tasarruf var, işlem gücünde yok

Çalışmanın en somut ayrımı burada. Eski uzmanın kendi çıktısıyla yeniden etiketleme yapan yol 0,96–1,05 koruma oranına ulaşıyor ve yazarlar bunun işlem gücünden değil etiketlemeden tasarruf ettiğini açıkça yazıyor: aynı tazeleme Banking77'de 39,1, Spider'da 255,0 GPU-dakikası harcıyor. Buna karşılık 33 yükseltme vakasında sınanan karar politikası, her seferinde yeniden eğitmeye göre ortalama 0,37 puanlık kalite kaybıyla eğitim işlem gücünün yüzde 33'ünü ve altın etiketli vakaların yüzde 27'sini kullanıyor.[1]

İki tasarruf kalemi aynı ağırlıkta görünmüyor. İşlem gücü bir sağlayıcının faturasında satır satır duruyor; altın etiket ise bir insanın oturup örnekleri işaretlemesi demek ve çoğu kurumda ayrı bir bütçe kalemi olarak izlenmiyor. Adaptörün kendisi sürümler arasında değerini yitirdiğine göre, kurumun elinde kalıcı olarak duran şey görev verisi ve eski uzmanın hâlâ üretebildiği etiketler oluyor. Yükseltme tartışması ağırlık merkezini buraya kaydırmadıkça, en pahalı girdi en az görünen girdi olmayı sürdürür.[1]

Sayaca girmeyen kalem

Bu köşede 22 Ağustos'ta, eylemci araçların hızının doğrulama ve yordam emeğini çalışanın mesai dışı saatlerine yazdığını, ölçülen büyüklüklerin ise belirteç harcaması olduğunu savunmuştum. Buradaki bulgu aynı boşluğun bir üst katmanda, kurum düzeyinde tekrarlandığını gösteriyor: ölçülen kalem yine makine tarafı, ölçülmeyen kalem yine insan emeği. Fark şu ki bu kez sayının kendisi elimizde; etiketleme yükünün ne kadarının ortadan kalkabileceği, bir tahmin değil ölçülmüş bir oran.[1], [2]

İzlenebilir bir sinyal var. Bir kurum yükseltme kararını gerçekten görev başına veriyorsa, bunun izi 31 Aralık 2026'ya kadar tamamlanan model geçişlerinde görünür: yeni altın etiket siparişi açılmadan tamamlanan geçişlerin payı yükselir. Bu pay yükselmiyorsa, kurum ya kararı görev başına vermiyor ya da tasarrufu etiketlemede değil yalnızca işlem gücünde arıyordur; her iki durumda da etiketleme emeğinin nereye yazıldığı sorusu yanıtsız kalır.[1]