Hızlanan şeyin adı
Bir laboratuvarın yapay zekâ yeteneği daha hızlı gelişiyorsa, bunun hangi işi ne kadar hızlandırdığını sormak gerekiyor. METR’in Anthropic incelemesindeki 1,9 kat bu sorunun yalnızca bir bölümünü yanıtlıyor: şirket içi AECI endeksinin artış hızını önceki eğimle karşılaştırıyor. Bir araştırmacının aynı deneyi kaç saatte bitirdiğini veya laboratuvarın kaç yeni buluş yaptığını doğrudan ölçmüyor. Paydadaki eski eğilim değiştiğinde, aynı yeni puanın anlattığı hızlanma da değişiyor. Raporu değerli kılan, bu karşılaştırmayı kurarken hangi seçimlerin sonuca girdiğini de tartışması.[1]
METR, yaklaşık 15 görüşme ve şirket içi verilere erişim içeren 11 haftalık bir değerlendirme yürüttü. Model puanlarına tek kırılma noktası olan bir eğri uydurulduğunda değişim noktası 7 Ekim 2025’e geliyor. Bu tasarım, yakın dönemin daha dik bir eğimle tarif edilebildiğini gösteriyor. Kırılmanın algoritmayla bulunması ise o tarihte hangi etkenin değiştiğini tek başına belirlemiyor. Yapay zekâ yardımının artmasıyla araştırmanın örgütlenmesi veya başka teknik gelişmeler aynı döneme denk gelebilir. Zaman içindeki birliktelikle nedensel pay arasında hâlâ açıklanması gereken bir mesafe var.[1]
Aralığın dışında kalan belirsizlik
Bildirilen yüzde 95 güven aralığı 1,5–2,8 kat. Bu aralık, puanların yeniden örneklenmesiyle elde ediliyor; modele hangi sistemlerin dahil edildiği veya yapay zekânın nedensel katkısı hakkındaki bütün belirsizlikleri kapsamıyor. Okurun aralığı görünce bütün şüphelerin sayısallaştırıldığını düşünmesi kolay. Oysa bu hesap, seçilmiş veri ve ölçüm tanımı içindeki değişkenliği ele alıyor. Farklı bir araştırma tasarımı kurmanın sonucu ne kadar değiştireceği ayrı bir soru. Güven aralığının genişliği kadar, hangi soruya ait olduğunu da bilmek gerekiyor.[1]
Rapordaki daha öğretici sınama, aynı puanları yetenekle ilişkilendirmenin farklı yollarını denemek. Veriye benzer ölçüde uyan seçenekler 1,1–2,9 kat arasında sonuç veriyor. Başarım puanında eşit artışların gerçek yetenekte eşit ilerlemeye denk geldiği varsayımı böylece görünür oluyor. Bu duyarlılık, hızlanma kanıtını çöpe atmayı gerektirmiyor. Sonucun büyüklüğüne ilişkin güveni, yalnızca puan gürültüsünün izin verdiğinden daha temkinli kurmayı gerektiriyor. Özellikle hızlanma oranından bir güvenlik kararı çıkarılacaksa, puan ölçeğinin biçimi kararın varsayımlarından biri haline geliyor.[1]
Nedensel pay için ikinci karşılaştırma
METR, görüşmeler ve iç raporlarla birlikte düşündüğünde yapay zekânın hızlanmaya büyük katkı yaptığı kanısına varıyor. Bu değerlendirme ciddiye alınmalı; dışarıdan görülemeyen araştırma işine erişim önemli. Ancak Anthropic, en açıklayıcı bulunan kanıtların büyük bölümünü gizledi. Kamuya açık sonuç ile okurun yeniden değerlendirebildiği dayanak arasındaki açıklık bu yüzden sınırlı. Rapor ayrıca en önemli eğitim işlerinde tamamen özerk katkının henüz büyük olmadığını söylüyor. İnsan araştırmacının daha güçlü araçla çalışması ile kendi kendini sürdüren özerk araştırma, bu kanıt üzerinde farklı aşamalarda duruyor.[1]
Bir sonraki ikna edici adım, aynı ölçüm ölçeğini korurken yapay zekâ kullanımının değiştiği karşılaştırılabilir araştırma işlerini izlemek olur. Görev güçlüğü, hesaplama bütçesi ve ekip bileşimi birlikte izlenirse, endeks eğiminin yanında hangi deneylerin daha kısa sürede tamamlandığı da görülebilir. Bu benim rapordan çıkardığım tasarım önerisi; yapılmış bir deney sonucu değil. Ekiplerin farklılaşması veya daha kolay işlerin seçilmesi yine alternatif açıklamalar olarak sınanmalı. Böyle bir karşılaştırma, bugünkü gözlemsel bulguyu somut bir araştırma mekanizmasına bağlayabilir. Şimdilik en sağlam kazanım, hızlanmanın büyüklüğüyle ona kimin katkı yaptığını ayrı sorular halinde tutmak.[1]