Benzetime tam olarak ne sokuldu?

Carolyne Jie Huang, Samuel Pawel, Kimberley Elaine Wever, Benjamin Victor Ineichen ve Rachel Heyard, etki büyüklüğünü, değişkenliği, hayvan örneklem büyüklüklerini ve havuzlanan hayvan çalışması sayısını değiştirerek 648 senaryo kurdu. Her senaryoda dokuz ölçüt sınandı: anlamlılık kuralı, meta-çözümleme, yineleme Bayes çarpanı, ağırlıklı ve ağırlıksız Edgington yöntemleri, üç sürümüyle altın kuşkucu p-değeri ve denetimli kuşkucu p-değeri.[1]

Sonuçlar şöyle sıralanıyor. Gerçek etkinin sıfır ve değişkenliğin bulunmadığı durumda, meta-çözümleme ile yineleme Bayes çarpanı dışındaki ölçütler yanlış olumlu oranını kuramsal düzeyde tuttu. Değişkenlik arttıkça hepsi cömertleşti. Meta-çözümleme en yüksek gücü verdi ve yanlış olumlu oranı yüzde 40'a kadar çıktı. Denetimli kuşkucu p-değeri ile ağırlıklı Edgington yöntemi senaryolar boyunca görece tutarlı kaldı.[1]

Para dökerek aşılamayan sınır

Çalışmanın en kullanışlı sonucu şu: çeviri gücünü, hayvan ile insan tarafından hangisinin kanıtı zayıfsa o belirliyor. Bu, hayvan literatürü inceyken büyük ve iyi yürütülmüş bir insan çalışmasının durumu kurtaramayacağı anlamına geliyor. Tersi de doğru; güçlü bir hayvan temeli, gücü yetersiz bir insan çalışmasını taşımıyor.[1]

Bozulmanın değişkenlikle birlikte gelmesi, sıralamanın ölçüt ailesinden çok senaryonun oynaklığına bağlı olduğunu düşündürüyor. Başka bir okuma da var: sıralama benzetimin parametrelerine bağlı olabilir. Yazarlar bunu kendileri yazıyor; parametreler tek bir meta-çözümlemeden alındı, en çok beş hayvan çalışması havuzlandı, insan örneklem büyüklüğü 107'de sabitlendi ve çalışma biyolojik değil istatistiksel çeviriyi ele aldı. Başka bir parametre bölgesinde ölçütlerin sırası değişebilir.[1]

Bunu ne işler hâle getirir?

Buradaki bulgu, veriye bakmadan önce hangi kuralı yazdığınıza dair. Dolayısıyla kullanılacağı yer de belli: ölçüt seçimi, klinik öncesinden kliniğe geçiş planına, örneklem büyüklüğünün hemen yanına yazılır. Sonradan seçilen bir ölçüt, çalışmanın kendisi kadar seçilebilir hâle gelir.[1]

Sınanabilir beklenti şu: bir çeviri programı ölçütünü ve değişkenlik varsayımını insan çalışması başlamadan ilan ederse, sonuçların yayımlanma oranı ile doğrulama oranı arasındaki uçurum daralmalı. İzlenecek işaret, protokolünde ölçüt adını taşıyan tescilli bir klinik öncesi-klinik programı.[1]