Yanlış yanıtın başladığı koşul
Qwen38 Megakernel’in yeni sürümündeki en öğretici ayrıntı, hiç yanıt üretmemesi gereken bir ayar. Qwen3.8-27B modelini yerel çalıştıran bu hesaplama motoru ve sunucu, geliştiricinin açıklamasına göre, belirli ekran kartlarında çoklu eylemci oturumunu başlatmayı reddediyor. Önceki sürüm aynı koşullarda hata bildirmeden yanlış belirteç, yani model çıktısını oluşturan yanlış metin parçaları üretebiliyordu. Değerlendirmede doğru yanıtları saymaya başlamadan önce, çalıştırma koşulunun geçerli olup olmadığını sormak gerekiyor.[1]
Sorun, ekran kartındaki paralel işlem kümelerinin sayısıyla bağlantılı. Geliştirici, 50 ile 79 akış işlem kümesi olan kartlarda iki veya daha fazla eylemci yuvasının toplu hesaplamayı gerekenden az blokla çalıştırdığını belirtiyor. Yeni sürüm bu ayarı başlangıçta durduruyor; tek yuva kullanılabiliyor. En az 80 işlem kümesi bulunan kartların etkilenmediği belirtiliyor. Bu ayrım, aynı modelin farklı donanımdaki yanıtlarını karşılaştıran bir araştırmacı için önemli: gözlenen hata, modelin soruyu çözme becerisi kadar çalıştırıldığı hesaplama yoluyla da ilgili olabilir.[1]
Çıktılar eşleşti, hedef kart sınanmadı
Sürüm öncesi karşılaştırmaların somut bir değeri var. Geliştirici, Linux üzerinde iki ve dört eşzamanlı yuvada her yanıtın aynı isteğin tek başına çalıştırılmasıyla eşleştiğini bildiriyor. Örneklemeli yanıtlar da önceki sürümle aynı. Çıktının birebir eşleşmesini denetleyen aracın 10 denetimi geçmiş; 19 sonucu önceki sürümle eşleşmiş. Bu karşılaştırmalar, sınanan koşullarda oturumların birlikte çalışmasının yanıtı değiştirip değiştirmediğini soruyor. Doğru sorunun yanıtı olduklarında yararlılar.[1]
Fakat kullanılan RTX 3090, geliştiricinin zaten etkilenmediğini belirttiği kartlar arasında. Etkilenen donanım elde bulunmadığından yeni başlangıç reddi orada sınanmamış. Dolayısıyla başarılı çıktı karşılaştırmaları, reddetme davranışının hedef kartlarda çalıştığına dair doğrudan gözlem sunmuyor. Yeni denetim doğru yazılmış olabilir; bunu dışlayan bir bulgu yok. Diğer olasılık, yalnızca o kartta ortaya çıkan bir özellik yüzünden denetimin beklenen davranışı vermemesi. Açıklanan testler bu olasılıkları birbirinden ayıramıyor.[1]
Başlangıç kararını ayrıca ölçmek
GPU çekirdeklerinin, yani kartta hesaplamayı yapan yordamların değişmemesi de testin anlamını daraltıyor. Önceki sürümle aynı belirteçleri üretmek, korunması istenen davranışın sürdüğünü sınayabilir. Ancak önceki sürümün belirli bir koşulda yanlış çıktı verdiği biliniyorsa, o sürümle eşleşmek o koşul için doğruluk ölçütü olamaz. Burada gereken gözlem, yasaklanan ayarın gerçekten başlamaması; izin verilen tek yuvanın ise ayrıca çıktı karşılaştırmasına girmesi. Başlangıç kararı ile yanıt eşleşmesi için ayrı başarı ölçütleri gerekiyor.[1]
Benim aradığım sonraki karşılaştırma bu nedenle etkilenen bir kart üzerinde başlıyor. Aynı donanımda tek yuva ile çoklu yuva ayarı yan yana sınanmalı; birinde yanıtın karşılaştırılması, diğerinde başlangıcın reddedilmesi beklenmeli. Etkilenmeyen bir kartta izin verilen çoklu oturum da karşılaştırmanın diğer kolunu oluşturmalı. Bu, tamamlandığını öne sürdüğüm bir deney değil, açıklanan boşluğa yönelik bir değerlendirme önerisi. Böyle bir tasarım, yanlış yanıtı önleyen sınırın yerinde çalışıp çalışmadığını, geçerli çalıştırmaların çıktıyı koruyup korumadığından ayrı ölçer.[1]