Aynı görev, iki farklı örneklem
Particle-1’in yazılım görevlerinde daha az belirteç kullanması, ölçülebilir bir araştırma sorusu açıyor: Aynı görevi bitirmenin yükü ne kadar azalıyor? Particle, DeepSeek V4.1 Flash üzerine eğittiği model için dört sınamada görev başına ortalama giderin yüzde 34,4–51,6 düştüğünü bildiriyor. Karşılaştırmada iki modele aynı belirteç fiyatı uygulanmış. Bu ayrıntı, sonucu fiyat indiriminden ayırıp çalışma sırasında tüketilen kaynağa bağlıyor. Yine de taban modelin güven aralıkları içinde kalan başarı oranları, bütün kullanım alanlarında doğruluğun eşdeğer olduğunun kanıtı sayılmaz. Sınamaların kapsadığı görevleri ve hesaplanan gideri birlikte okumak gerekiyor.[1]
Ölçümün iki ayrı topluluğu var. Genel sonuçlar her görev için üretilen 16 çalışmaya dayanıyor; başarısız denemeler de gider ortalamasına giriyor. Altyapı nedeniyle kesilen çalışmalar ise dışarıda bırakılıyor. Buna karşılık, tasarrufun nereden geldiğini anlatan örnekler aynı görev ve başlangıç koşulunda iki modelin de başarılı olduğu çiftlerden seçilmiş. Başarıyla tamamlanmış bu çiftler, iki çözüm yolunu yakından karşılaştırmak için anlamlı. Ancak başarısız işlerin nasıl dağıldığını tek başına anlatmıyor. Bu ayrım, toplam gider bulgusuyla açıklayıcı örneğin farklı sorulara yanıt verdiğini gösteriyor.[1]
Kısa yanıtın içinde kalan iş
Şirketin örneklerinde aynı eylemleri daha kısa muhakemeyle yapmak, tamamlanmış işi yeniden kontrol etmeyi erken bırakmak ve daha az onarım turuna ihtiyaç duymak ayrı ayrı görülüyor. Bunların hepsi daha kısa bir çıktıya yol açabilir. Fakat şirket, bazı örneklerde çözümün kapsamının da değiştiğini belirtiyor: daha az seçenek araştırılması veya ek denetimlerin atlanması, yalnızca anlatımın kısalmasından farklı. Buradaki alternatif açıklama, tasarrufun bir bölümünün aynı işi daha verimli yapmak yerine daha dar bir çözüm sunmaktan gelmesi. Sınamayı geçmek, bu farkın her gerçek işte önemsiz olduğunu tek başına belirlemiyor.[1]
Gider hesabındaki yüzde 95 önbellek isabet oranı da sonucun koşulu. Aynı belirteç fiyatlarıyla çalışılması değerli bir karşılaştırma sağlıyor; buna rağmen farklı bir uygulamanın önbellek kullanımı, bu hesapta kullanılan karışımdan ayrılabilir. Bu nedenle belirteç miktarındaki değişim ile dolar cinsinden giderdeki değişim aynı ölçü değil. Birincisi modelin ürettiği miktarı, ikincisi o miktarın belirli fiyatlar ve önbellek varsayımıyla bedelini anlatıyor. Bu ayrımı korumak, açıklanan tasarrufu reddetmeden hangi koşullarda ölçüldüğünü görünür kılıyor.[1]
Tek gösterimden dış doğrulamaya
Yazılım dışına uzanan sözleşme inceleme gösteriminde sınır daha belirgin. Yalnızca bir görev ve sekiz çalışma bulunuyor. Böyle bir örnek, model davranışının başka bir alanda incelenebileceğini göstermesi bakımından değerli; geniş bir hukuk görevi örnekleminin yerini almıyor. Aynı görevin tekrarlanması, görev çeşitliliğini artırmıyor. Sonucun başka belgelere, farklı değerlendirme ölçütlerine ve başka çalışma ortamlarına taşınıp taşınmadığı ayrı bir soru olarak kalıyor. Erken bir gösterimden yararlanmak için onun temsil ettiği örneklemi büyütmek gerekmiyor.[1]
Particle’ın açıklamasından bugün alınabilecek sonuç, belirli yazılım sınamalarında gideri ve çıktı miktarını birlikte azaltan bir üretici bulgusu. Bunun daha güçlü devamı, bağımsız bir ekibin farklı görevlerde aynı başarı tanımını ve tamamlanan işin kapsamını koruyarak karşılaştırma yapması olur. Böyle bir karşılaştırmada yalnızca toplam belirteç sayısını değil, başarısız denemelerin payını ve çözümde korunan denetimleri de görmek isterim. Verimliliğin araştırma açısından ilginç yanı, kısalan yanıtın kendisinden çok, hangi işi eksiksiz bırakabildiğinin ölçülebilmesi.[1]