Aynı jelden üç yanıt
Bir laboratuvar çalışanı için jel görüntüsündeki lekenin yerini doğru bulmak, uzun bir açıklamanın sonunda bir kez doğru aralığı söylemekten farklı bir ihtiyaç. Aynı görüntü yeniden sorulduğunda yanıtın değişmesi, sonraki araştırma kararına belirsizlik taşıyor. Artificial Analysis’ın yeni VIALS-AA değerlendirmesinde asıl ilgimi çeken bu tekrar koşulu. Handshake AI’ın 161 görsel görevi üçer kez çalıştırılıyor; puan, üçünün de doğru olduğu görevlerin payı. Bu seçim, modelin gösterebildiği en iyi sonucu değil, aynı soruda doğruluğu ne kadar koruduğunu öne çıkarıyor. Araştırmacının tek bir yanıtla ilerlediği işlerde okunması gereken fark tam burada.[1]
Bu nedenle iki ölçüyü birlikte okumak gerekiyor. Kimi K3.1 Pro ile GPT-6 Astra, soruların yaklaşık dörtte üçünü en az bir kez çözüyor. Üç denemenin tamamının doğru olması istendiğinde sonuç yüzde 45 ve yüzde 63’e ayrılıyor. En az bir başarıyı sayan pass@3, bir çözümün modelin erişiminde olduğunu gösteriyor; bütün denemeleri isteyen pass^3 ise o çözümün yeniden elde edilmesini ölçüye katıyor. Aradaki fark, aynı görüntü karşısında hangi modelin daha tutarlı kaldığı hakkında bilgi veriyor. Sonucu yalnızca en iyi denemeden okumak, bu farkı görünmez bırakırdı.[1]
Görüntüye bakmak ve onu okumak
Araçların sayısı bu sorunu kendiliğinden çözmüyor. VIALS-AA modelleri aynı Stirrup düzeneğinde kod çalıştırabiliyor ve görüntüleri inceleyebiliyor. Protein lekesi 22 örneğinde doğru aralık 40–50 kDa. Astra kısa incelemeyle bu aralığa ulaşıyor; Sonnet ekseni ve lekenin konumunu ölçerek aynı sonuca gidiyor. Grok 4.7 ise 27 tur ve 20 görüntü incelemesinin ardından 50–70 kDa yanıtını veriyor. Yayımlanan işlem izinde, görüntüye sonradan eklenen işaret hedef lekeyle karışıyor. Buradaki sorun yalnızca yeterince bakılmaması değil; ölçülen nesnenin hangi bilimsel nesneyle eşleştirildiği.[1]
Ben bu örneği daha az araç çağrısının üstünlüğü olarak okumuyorum. Uzun inceleme, daha zor bir görüntüye veya daha ihtiyatlı bir stratejiye de işaret edebilir; tek örnek bunları ayıramaz. Dahası Sonnet’in ölçüm yaparak doğru sonuca ulaşması, aynı araçların yararlı kullanımını gösteriyor. Çıkarımım daha dar: araç çağrısı sayısı, doğru nesneyi seçip eksenle ilişkilendirme başarısının yerine geçemez. Aynı görevde doğru yanıt, tekrar tutarlılığı ve izlenen yol birlikte değerlendirilirse, fazladan işlemin hangi hatayı düzelttiği ya da hangi yanlış okumayı uzattığı araştırılabilir.[1]
Laboratuvar kararına giden basamak
VIALS’ın yaşam bilimleri iş akışlarına benzeyen jel, plazmit ve hücre görüntülerine yönelmesi ölçümü somutlaştırıyor. Yine de aynı 161 sorunun tekrarı, başka bir laboratuvardan gelen görüntüde doğruluğun korunmasını sınamıyor. Üç denemenin tümünde doğru olmak da sonsuz tekrarda hatasızlık oranı vermiyor. Burada ölçülen, tanımlı görev ve araç düzenindeki tutarlılık. Üstelik görüntüdeki bulguyu okumak ile o bulguya göre araştırma planını değiştirmek farklı kararlar. Yöntemin değeri, bu ilk adımı daha seçici ölçmesinde; bütün bilimsel iş akışını tek puanda temsil ettiğini varsaymakta değil.[1]
Bence yararlı sonraki karşılaştırma, aynı başarı ve tekrar ölçülerini yeni laboratuvar görüntülerinde, görev türlerine göre ayrı ayrı görmek. Özellikle yanlış leke veya yanlış eksen seçiminin hangi koşullarda tekrarlandığı belirlenirse, toplam puan araştırmacının önüne daha açık bir kullanım sınırı koyar. Böyle bir değerlendirmede insanın hatayı fark etmesi ve düzeltmesi için gereken yük de ölçülebilir. VIALS-AA’nın bugün sağladığı katkı, bir doğru yanıtın değerini azaltmak değil, o yanıtın yeniden üretilebilirliğini görünür kılmak. Bilimsel yardımcı seçerken sorulacak soru da böylece keskinleşiyor: aynı kanıtla karşılaşınca doğru okuma ne kadar korunuyor?[1]