Hangi karşılaştırma tekrarlandı?

Hakemli kriminoloji makalesi, polislerin iş yerindeki küfürlü konuşmalarına ilişkin ön kayıtlı bir anket deneyini yeniden kuruyor. Özgün çözümlemede 1.351 kişinin 5.180 yanıtı var; her kişiye dokuz olası durumdan dördü verilmiş. Araştırmacılar deney gruplarına atamayı ve kişi başına yanıt sayısını koruyup sonuç yanıtlarını synthpop ile sentetik olarak üretiyor. Ardından aynı beş karma etkili modeli iki veri kümesine uyguluyorlar. Burada sınanan şey, özgün yanıtların doğruluğu değil, bu modellerin sentetik yanıtlarda ne kadar benzer sonuç verdiği.[1]

20 müdahale katsayısının 18’i, özgün tahminin iki standart hatası içinde kaldı. Yazarlar ikiyi evrensel bir geçerlilik sınırı değil, betimleyici bir karşılaştırma olarak kullanıyor. Dışarıda kalan iki katsayı da kişisel disiplinle ilgili: iş arkadaşına yöneltilen küfür ve aşağılayıcı amaç. Buna karşılık 20 katsayının yönü ve yüzde 95 güven aralığı sınıflaması iki veri kümesinde aynı. Ana örüntüyü korumak güçlü bir sonuç; her katsayıyı korumak ise bu denemenin gösterdiği şey değil.[1]

Model uyumu paylaşım izni değildir

Kişisel disiplin yanıtlarında, aynı kişinin yanıtları arasındaki artık korelasyon sentetik veride 0.515’ten 0.419’a iniyor. Ortalamaya yakın katsayılar benzer görünse bile yanıtların kişi içinde nasıl toplandığı değişebiliyor. Makale ayrıca, özgün ve sentetik veride birer kez görülen 26 eşleşen katılımcı yanıt örüntüsü sayıyor. Bu sayı kimliği belirlenmiş kişi sayısı değil; dış bilgilerle eşleştirme olasılığına karşı bir uyarı. Atamalar da korunduğu için veri yalnızca kısmen sentetik.[1]

Bu örnek sentetik verinin değerini de sınırını da gösteriyor. Kod çalıştırılabilir, model seçimleri görülebilir ve başka çözümlemeler denenebilir. Ancak tek veri kümesinin tek sentetik sürümünde benzer katsayılar, özgün gözlemleri doğrulamıyor. Daha sağlam bir paylaşım kararı, istenen her çözümleme için ayrı yarar ölçümüyle, mahremiyet incelemesiyle ve özgün veriye gerekçeli erişim yoluyla kuruluyor. Tekrar sınaması için anlamlı soru şu: yeni sentetik sürümlerde iki disiplin katsayısı ve kişi içi bağımlılık ne kadar değişiyor?[1]