Farkın toplandığı sorular

Particle-1’in veri analizindeki kazancı, hangi sorularda başarılı olduğuna bakınca daha anlaşılır oluyor. Plotly’nin 43 soruluk sınavında model 40 soruyu geçti; dayandığı DeepSeek V4.1 Flash 36’da kaldı. Olağan analiz, belirsiz istekler ve yerine getirilemeyecek taleplerde iki modelin sonucu aynıydı. Fark, istatistik tuzaklarıyla veriye gizlenen örüntülerde oluştu. Bu dağılım, toplam puandan daha yararlı bir başlangıç: modelin günlük bir sorguyu yanıtlamasıyla yanıltıcı bir toplamı sorgulaması aynı beceri sayılmamalı.[1]

Plotly, modelleri aynı yazılım düzeneği ve puanlama kuralıyla çalıştırdı. Kullanılan veri ambarı yapay bir rüzgâr enerjisi işletmesini temsil ediyor; soruların yanıtlarını eğitimde ezberlenmiş gerçek veri kümelerinden çekmeyi zorlaştırmak için hazırlanmış. Bu tercih, tanıdık bir veri kümesindeki sonucu hatırlama yolunu daraltıyor. Buna karşılık bir kuruluşun dağınık verileriyle karşılaşmanın bütün güçlüklerini kapsamıyor. Değerlendirme, sınırları belli bir analiz görevinde davranışı gösteriyor; gerçek işletmelerdeki bütün analiz işlerinin temsil edildiği sonucuna varmak için ek karşılaştırmalar gerekir.[1]

Eğitim hedefi başka göreve geçince

İlginç sonuç, eğitim hedefinin aynen taşınmaması. Particle-1’in ek eğitimi yazılım işlerinde daha az belirteç, yani metni işlemek için kullanılan daha az parça üretmeye yöneliyordu. Plotly sınavında ise soru başına yaklaşık 6.900 çıktı belirteci kullandı; temel model yaklaşık 6.200’de kaldı. Model çağrıları da yaklaşık 7’den 10’a çıktı. Burada daha çok doğru yanıt, daha kısa yanıtla birlikte gelmedi. Bir eğitimde kazanılan verimliliğin başka bir görevde de görüleceğini varsaymak, ölçülecek sonucu baştan kabul etmek olur.[1]

Bu bulgu, uyarlamanın başarısız olduğu anlamına da gelmiyor. Daha fazla hesaplama, zor sorularda ek denetim yapılmasına yardım etmiş olabilir. Diğer açıklama, modelin aynı soruları daha uzun yollarla çözmesi ve görülen farkın bir bölümünün koşular arası değişkenlikten gelmesidir. Plotly, başka modellerle yaptığı tekrarların üç soruya kadar farklı sonuç verdiğini belirtiyor. Tek koşu, bu iki açıklamanın paylarını ayıramıyor. Aynı sorular üzerinde tekrarlı ve eşleştirilmiş karşılaştırma, hem doğru yanıtları hem kullanılan belirteçleri birlikte izlemeli.[1]

Yanlış alarmı da saymak

Hata türü de toplamın altında kaybolmamalı. Particle-1, veri kalitesi denetiminde başka bilgilerle açıklanabilen bir örüntüyü çelişki saydı ve ilgili satırlara güvenilmemesini önerdi. Temel model bu soruyu doğru yanıtlamıştı. Bu, ek doğru yanıtların yanında yeni bir yanlış alarmın da bulunabileceğini gösteriyor. Araştırmacı veya analiz ekibi açısından iyi bir değerlendirme, yakalanan örüntüler kadar gereksiz yere dışlanan veriyi de görünür kılar. Aynı toplam puanı alan iki sistem, incelemeyi yapan kişiye farklı işler bırakabilir.[1]

Bu nedenle sonraki karşılaştırmanın odağı, puan sıralamasını genişletmekten önce görevleri ayırmak olmalı. Olağan sorgular, istatistik tuzakları ve veri kalitesi sorunları için doğruluk ile hesaplama tüketimi birlikte verildiğinde, uyarlamanın hangi işe yaradığı daha açık görülür. Tekrarların dağılımı da yayımlanırsa birkaç soruluk farkın ne kadar kararlı olduğu anlaşılır. Böyle bir tasarım, kısa yanıtı otomatik olarak verimlilik saymadan ve toplam puanı her analiz işine taşımadan model seçmeye yardımcı olur.[1]