Karşılaştırmanın başlangıç çizgisi
Rosalind 6 belgesindeki ilk önemli ayrıntı, bilimsel araştırmaya ayrılan bu dağıtımın GPT-6 Astra ile aynı model ağırlıklarını kullanması. Yeni eğitim verisi veya ek eğitim uygulanmamış. Benim için bu bilgi, değerlendirmeyi doğru soruyla açıyor: Belirli araştırma görevlerinde hangi yardım ölçülmüş? Araştırmacıya ayrılan erişim yolu ile yeni bir bilimsel bulgunun kanıtı farklı şeyler. Onaylı kurumlar ve uzman incelemesi kullanımın koşullarını tarif ediyor; bir laboratuvarın daha doğru sonuca ulaştığını ölçmüyor. Araştırma aracının değerini tartışmak için önce sunulan karşılaştırmanın sınırlarını anlamak gerekiyor.[1]
OpenAI, Rosalind 5.5 sonuçlarını yeni değerlendirmedeki görev sürümleri ve problem kümeleriyle yeniden hesaplamış. Bu, eski yayımdaki bir sayıyı yeni sayının yanına koymaktan daha anlamlı bir karşılaştırma zemini. Okurun izlemesi gereken başlangıç çizgisi de bu yeniden hesaplanan değer. Önceki belgenin sonucu başka bir görev kümesinden geliyorsa, aradaki farkın tamamını modele yazmak uygun olmaz. Aynı görevler üzerinde iki sistemi karşılaştırmak bu sorunu azaltıyor. Yine de değerlendirmeyi yapan tarafın geliştirici olması, bağımsız bir tekrarın sağlayacağı bilgiyi ayrı bir basamakta bırakıyor.[1]
Sayının birimi problem
Paydalar da dikkat istiyor. MedChemBench sürüm 7 içinde 99 problem ve problem başına en fazla 9 yanıt var. GeneBench Pro sürüm 13, 129 problem ve her problem için 7 yanıt kullanıyor. LifeSciBench Gold’da sorunlu 6 görev çıkarılmış; 94 problem kalmış ve her biri için en fazla 8 yanıt değerlendirilmiş. Yanıtlar önce problem içinde ortalanıyor, sonra problemlere eşit ağırlık veriliyor. Bu tasarımda çok sayıda yanıt, aynı sayıda bağımsız araştırmacı veya hasta demek değil. Aynı probleme verilen tekrarlar ile farklı problemlerin çeşitliliği ayrı bilgi taşıyor.[1]
Üretim ortamıyla sınama ortamı arasındaki mesafe ikinci sınır. Belgede bazı değerlendirme yapılandırmalarının üretimdeki ayarlardan farklı olduğu belirtiliyor. Bu nedenle bir görevde ölçülen sonucun, araştırmacının karşısına çıkan hizmette aynı düzeyde ortaya çıkacağı belirsiz. Farkı yalnızca temel model yeteneğiyle açıklamak da acele olur: kullanılan ayarlar ve problem seçimi de sonucu etkileyebilir. Bu olasılıklar, açıklanan sınamanın değersiz olduğunu söylemiyor. Ölçümün hangi koşullarda yapıldığını, araştırmacının hangi koşullarda çalıştığından ayrı tutmayı gerektiriyor. Böylece bir karşılaştırma sonucunun taşınabileceği alan daha açık hale geliyor.[1]
Araştırmacının işi üzerinde ölçmek
Bu değerlendirmeyi araştırma yardımı için erken bir işaret olarak okuyorum. Belirli görevler, eşit problem ağırlıkları ve yeniden hesaplanan karşılaştırma, neyin sınandığını görmemizi sağlıyor. Fakat belgede hasta sonuçları veya bağımsız laboratuvarların günlük çalışmasındaki yarar ölçülmüyor. Bir problemin doğru yanıtlanması, o yanıtı denetlemek için gereken süreyi ve bir araştırmacının hatayı fark edip etmediğini birlikte anlatmaz. Klinik yarar iddiasına geçmeden önce, görev yanıtı ile gerçek kullanım sonucu arasındaki basamağı doldurmak gerekiyor. Buradaki eksik bağ, salt daha büyük bir görev sayısıyla kapanmış sayılmaz.[1]
Benim önerdiğim sonraki sınama, bağımsız araştırmacılara aynı tanımlı görevleri araçla ve araç olmadan yaptırmak. Önceden belirlenen doğruluk ölçütleriyle birlikte tamamlanan iş, yanıtı denetleme süresi ve gözden kaçan hata izlenebilir. Değerlendiricilerin hangi koşulun kullanıldığını bilmemesi, yanıtın sunuluş biçiminin kararı etkilemesini azaltabilir. Bu tasarım, açıklanan görev sınamalarından günlük araştırma yararına geçişi ölçmeye yönelik bir öneri. Rosalind belgesinin bana sağladığı yararlı başlangıç, karşılaştırmanın yeniden kurulmuş olması. Bir sonraki güven artışını ise bağımsız kullanıcının yaptığı işte ararım.[1]