İki sayımın ayrıldığı yer

Michael Park, Erin Leahey ve Russell Funk 2023'te CD göstergesini yaklaşık 45 milyon makaleye ve 3,9 milyon patente uyguladı ve ikisinin de on yıllar içinde daha az yıkıcı hale geldiğini bildirdi. Gösterge, bir çalışmanın atıf ağındaki yerini okuyor: sonraki çalışmalar o makaleyi kendi başına mı anıyor, yoksa makalenin andığı kaynakları anmayı mı sürdürüyor? Hiç geriye dönük atfı olmayan bir çalışma ise göstergenin verebileceği en yüksek değeri, 1'i alıyor.[1]

Vrije Universiteit Brussel'den Vincent Holst ve arkadaşları bu son özelliği ciddiye alıyor. Kaynakça taşımayan girdiler tavan değerle puanlanıyor; bu girdilerin veri tabanlarındaki payı dönem boyunca geriliyor; grup o girdilerin arkasındaki belgeleri açtığında ise çoğunun aslında kaynakça taşıdığı ortaya çıkıyor. Bu okumaya göre ölçülen düşüşün bir bölümü, bilimin kendisindeki bir değişimden çok üstverideki bir değişimi izliyor. Grup ayrıca özgün makaledeki sağlamlık sınamalarını tek tek geçmiş ve hiçbirinin bunu yakalayacak biçimde kurulmadığını bildiriyor.[1]

Park, Leahey ve Funk aynı sayıda yanıt veriyor. Eleştirenlerin savunduğu veri kümesi, gösterge ve yöntemle çalıştıklarında da düşüşleri buluyorlar. Üstelik eleştirenlerin kendi bağlanım modelini gösteriyorlar: kaynakça taşımayan çalışmaları tablonun dışına çıkarmak için kurulan o model, makaleler ve patentler için 0,01'in altında P değeriyle büyük düşüşler veriyor ve bu sonuç eleştirenlerin kendi ek çizelgelerinde duruyor.[2]

Örnekleme giren belgeler

Yanıt bunun ardından eleştirenlerin örneklemini denetliyor ve kaynakça taşımayan çalışmaların özgün veridekinin üç katı olduğunu buluyor. Fazlalığın kaynağını da adıyla sıralıyor: en az 2,8 milyon başyazı, ölüm ilanı ve yorum; 1,5 milyon kitap ve bildiri kitabı; 254.000 ürün ve sanat değerlendirmesi. Bu örneklemin yüzde 20'si araştırma değil. Anahtar sözcük taraması 456 For Dummies rehberi, 50 Dr. Seuss ve Curious George kitabı ve Captain Underpants dizisini çıkarıyor; hiçbiri kaynak göstermiyor.[2]

Sonra eğilimi belirleyen sayı geliyor: aynı örneklemde araştırma dışı içerik 1945'te toplamın yüzde 40'ıyken 2010'da yüzde 8'e iniyor. Bu büyüklükte bir düşüş, Holst ve arkadaşlarının hatalı üstveriye bağladığı kaynakçasız girdi azalmasını kendi başına üretmeye yetiyor. Böylece tartışılan büyüklük, her ekibin uyguladığı belge türü süzgeciyle birlikte yer değiştiriyor. Bir başka okuma da dinlenmeyi hak ediyor: yüzde 40'tan yüzde 8'e inişin bir bölümü, kitapların, başyazıların ve değerlendirmelerin 65 yıl içinde dizinlere ne ölçüde girdiğini yansıtıyor olabilir; o durumda aynı kanaldan işleyen bir kapsam değişimi söz konusudur.[2]

Yanıt, dışarıda bıraktığı içeriği yerleşik uygulamaya dayandırıyor ve bu, doğaçlama olmayan gerçek bir ölçüt. Yine de iki eğilim ortadayken savunulan bir kural. Sıranın tersine işlediği bir örnekle karşılaştırmak aydınlatıcı: 27 deprem modeli 2007'de kilitlenmiş ve 11 yıl sonra puanlanmıştı, yani neyin geçer sayılacağı sonucu kimse görmeden belirlenmişti. Burada örneklemin tanımı sonradan kararlaştırılıyor ve savunulabilir bir seçimle işine gelen bir seçimin birbirinden en zor ayrıldığı yer tam da burası.[2], [3]

Bunu ne çözer?

Dışarıdan görülebilen bir eşitsizlik var. Holst ve arkadaşları yeniden çözümlemenin verisini ve kodunu, özgün yazarların Zenodo'da paylaştığı verinin üzerine GitHub'da açık olarak koydu. Yanıt ise ek betiklerin istek üzerine paylaşılacağını söylüyor. Bütün içeriği örnekleme hangi belgelerin girdiği olan bir anlaşmazlıkta, sınıflandırmayı isteyebilmek ile onu okuyabilmek aynı şey saymaz: yüzde 40'ı yüzde 8'e çeviren ayrıntılı belge türü ataması, tartışmanın konusunun ta kendisi.[1], [2]

Yani bir sınama var ve ucuz. İki ekip tek bir ortak veri kümesine tek bir ayrıntılı belge türü sınıflandırması uygular ve süzgecin kodunu da yayımlarsa, yıkıcılık eğilimi o dışlamadan önce ve sonra iki sav yerine tek bir karşılaştırmaya iner. Bu karşılaştırmanın ya da yapılmayı reddedişinin 2027 sonuna kadar görünür olması gerekir; izlenecek işaret, eğilimi açıkça bildirilmiş bir dışlama kuralı altında veren ve o kuralın kodunu ekleyen yayımlanmış bir yeniden çözümleme.[1], [2]