Makalenin arkasındaki çalışma

Bir araştırma eylemcisinin bitmiş makalesi, masasına hangi soruları koyduğunu anlatmakta yetersiz kalıyor. Transect’in ilginç yanı tam burada: uzun bir çalışmayı, özgün konuşmaya geri dönülebilen bir etkinlik çizelgesine çeviriyor. İncelenen denemede eylemci, tablo modellerinin doğruluğunu bozan dağılım değişimlerini gerçek etiketleri görmeden saptayan bir yöntem geliştirmekle görevlendirilmiş. Son teslimin yanında işlemlerin sırasını görmek, yöntemin hangi deneylerden geçerek oluştuğunu araştırmacının önüne açıyor.[1]

Bu incelemenin örneklemi tek bir araştırma denemesi. Ana eylemcinin 580 çıktısı, araştırma etkinliği ve görevin somut evreleri için sınıflandırılmış. Yapısal bilgilerle modelin verdiği etiketler yan yana duruyor: alt eylemcilerin başlatılması doğrudan konuşmadan alınırken, bir bölümün hipotez üretimi sayılması değerlendiricinin yorumuna bağlı. Ortak yatay eksen çıktı sırası olduğu için uzun görünen bir evreyi aynı uzunlukta geçen süreye çeviremiyoruz. Bu ayrım, araca bakarken ilk tutulması gereken ölçüm sınırı.[1]

Sessiz kalan etiketin iki açıklaması

Çizelgede yalnızca iki çıktı hipotez üretimi etiketi alıyor; analiz tasarımı etiketi hiç görünmüyor. İlk okuma, eylemcinin yöntem aramaktan çok operasyonları ve yazımı sürdürdüğü yönünde. Fakat tarayıcı her çıktıya tek ana etkinlik atıyor. Bir uygulama tartışmasının içine dağılmış fikir üretimi böyle bir sınıflandırmada kaybolabilir. Aynı gözlem, hem dar bir araştırma sürecinden hem de dar bir etiketleme kuralından çıkabilir. Araştırmacının sorusu artık somut: ilgili konuşma bölümlerinde hangi yeni hipotezler gerçekten önerilmiş ve sınanmış?[1]

Belirteç hesabı bu okumaya ikinci bir pencere açıyor. Yeni çalışma için hesaplanan yaklaşık 14,5 milyon belirtecin 7,8 milyonu öz değerlendirmeye, 2,9 milyonu makale hazırlığına gidiyor. Literatür işlemleri de büyük ölçüde yazım evresinde yoğunlaşıyor. Bu dağılım araştırma sorusuna harcanan çabayla metni olgunlaştırma çabasını ayrı düşünmeyi gerektiriyor. Yine de belirteç sayısı düşüncenin kalitesini doğrudan ölçmüyor; kısa bir yöntem fikri uzun bir yazım sürecinden daha belirleyici olabilir. Harcama dağılımı, nihai bilimsel katkıyı yargılayacak uzmana yön bulduruyor.[1]

Aynı sonucu yeniden görmek

Araştırma etkinliği sınıflandırması aynı modelle beş kez tekrarlanmış; 474 çıktının etiketi her seferinde aynı kalmış. Bu kararlılık, başka bir değerlendirmenin aynı işlemi yeniden kurması açısından yararlı. Geçerlilik sorusu ise uzmanların o etiketleri nasıl adlandırdığıyla ilgili. Aynı değerlendirici model ortak bir yanılgıyı tutarlı biçimde tekrarlayabilir. Farklı modellerden gelen değerlendirmeler ve bağımsız uzman etiketleri, bu iki soruyu ayrı ayrı sınamak için araçta zaten tarif edilen yollar arasında.[1]

Benim için Transect’in güçlü sonucu, araştırma yeteneği hakkında daha büyük bir hükümden önce, daha iyi bir örnek incelemesi kurması. Bir sonraki karşılaştırmada aynı görev ailesindeki farklı denemelerin yazım ve fikir üretimi payları ölçülebilir. Etiketleri bağımsız uzmanların değerlendirmesiyle doğrulamak, yazım ağırlığının tekrarlanan bir davranış mı yoksa bu kurulumun özelliği mi olduğunu ayırmaya yardım eder. Tek denemedeki boşluklar böylece bir beceri puanına dönüştürülmeden araştırılabilir. Bitmiş makaleyi değerlendiren kişinin elinde, hangi iddiayı hangi çalışma adımının taşıdığına ilişkin daha açık bir harita kalır.[1]