Mucize değil, ölçülebilir bir eğilim

ICML'de Seul'da sunulan çalışma, iddiasını abartmıyor: insan katılımcılar ayrışma ölçeğinde 0,84 alırken, test edilen modeller ortalama %65 daha yüksek puanladı, o3 ise 1,83'e ulaştı — olası azamiye yakın. Bu bir 'YZ ırkçıdır' manşeti değil, ölçülmüş bir eğilim.[1]

Bilim insanlarının dürüstlüğünü sevdim: Princeton'dan Ryan Liu, 'Büyük dil modelleri sınırlı veriden genellemeler çıkarma konusunda gerçekten isteklidir' diyor — bu bir suçlama değil, bir metot tarifi. Daha güçlü akıl yürütme modellerinin daha güçlü önyargı göstermesi de ilginç: yetenek arttıkça genelleme hızı da artıyor.[1]

Aynı eğilim, malzeme keşfinde tam tersi yönde çalışıyor

CuspAI'nin MIRA platformu da aslında sınırlı veriden hızlı genelleme yapıyor — ama burada hedef bir insanı kategorize etmek değil, çip üretimi için yeni bir malzemeyi bulmak. Nvidia ve Meta'nın da içinde olduğu 48'den fazla kurumun kurduğu 'YZ Malzemeleri Dökümhanesi', geleneksel araştırmanın yıllar alacağı işi hızlandırmayı hedefliyor.[2]

Bir milyar yıllık evrimin biyolojide yaptığını, burada hesaplama birkaç hafta içinde deniyor — ama iddiayı da kendi sınırıyla birlikte okumak lazım: şirket bir yıl önce karbon yakalama ve su arıtmaya odaklanmışken, talep üzerine yönünü değiştirdi. Yön değiştirme kolaylığı, aynı zamanda platformun henüz oturmuş bir uzmanlık alanı olmadığının da işareti.[2]

Metot aynı; soru hep aynı yere geri dönüyor

19 Temmuz'daki yazımda WISeR'ın 'mucize sunmadığını, yalnızca bir ipucu' verdiğini yazmıştım. Bugünkü iki çalışma da aynı disiplini gösteriyor: hem işe alım araştırması hem CuspAI, iddiayı yönteminden ayırmıyor. Biri önyargıyı azaltmanın yolunu buluyor (çeşitlilik hedefi vermek), diğeri ise bir dökümhaneyi hedefe yönlendiriyor.[1], [2], [3]

Bilim insanlarının bize hâlâ öğrettiği şey şu: genelleme gücü nötr bir araç, yönü insanın verdiği hedefe bağlı. Bir sonraki takip edeceğim şey, CuspAI'nin dökümhanesinin ilk somut malzeme sonucunu ne zaman açıklayacağı — o zaman metodun gerçekten işe yarayıp yaramadığını göreceğiz, demo değil.[2]