Puanın içinde üç ayrı soru

Bir genomun karşısına sıfır ile bir arasında tehdit puanı koyduğumuzda, sayının neyi ölçtüğü sorusu hemen belirir. Radical Numerics’in yeni Omnii Defense modeli, hastalık yapma olasılığı, AI üretimi olma ihtimali ve taksonomik benzerlik gibi ayrı tahminler üretiyor. Şirket, nihai puanda doğal dışı görünümle işlev tahminlerini birleştiriyor. Araç dizüstü bilgisayar ve USB dizileme cihazıyla, internet bağlantısı olmadan çalışmak üzere tasarlanmış. Şimdilik erişim, incelenmiş dış test kullanıcılarıyla sınırlı.[1]

Burada benim için temel ayrım, bilinmeyen bir diziyi tanımakla tehlikeli bir olayı tanımak arasında. Birbirine benzeyen diziler biyolojik işlev hakkında ipucu verebilir. Fakat puanın adı, bu ipucunu kendiliğinden tehdide dönüştürmez. Tasarlanmış köken, hastalık yapma kapasitesi ve gerçek koşullarda doğabilecek zarar, aynı etiketle ölçüldüğünde aralarındaki fark kaybolabilir. Bu yüzden modelin hangi soruya yanıt verdiğini, birleşik puandan önce görmek isterim. Ayrı çıktılar bu incelemeye başlangıç sağlayabilir; tek başına sonuca karşılık gelmez.[1]

Dışarıda bırakılan virüsün anlattığı

Şirketin anlattığı deneyde Bundibugyo virüsü eğitim verisinden çıkarılıyor. Önce tür düzeyinde, ardından bütün cins düzeyinde bir dışarıda bırakma uygulanıyor. Bu, bilinen bir kaydın aynısını bulmaya dayanan karşılaştırmadan farklı bir sınama. Modelin, eğitimde görmediği gruba ait dizilerde hastalıkla ilişkili işaret bulup bulamadığına bakılıyor. Wired’ın haberinde şirket, Omnii’yi yalnızca bilinen organizma kütüphaneleriyle eşleştirme yapan araçlardan bu noktada ayırıyor. Deneyin anlatılan hedefi, tam eşleşmenin ötesinde bir tanıma yeteneği.[1]

Bu tasarımın yararlı bir sorusu var: Eğitimdeki yakın akrabalar azaldığında sinyal kalıyor mu? Yine de olumlu bir sinyal, modelin tasarlanmış kökeni ayırt ettiğini göstermeye yetmez. Alternatif açıklama, modelin doğal virüslerdeki daha genel benzerlikleri yakalaması. Bu da değerli olabilir; yalnızca başka bir yetenektir. Türü veya cinsi dışarıda bırakmak, doğal ve tasarlanmış kökeni karşılaştıran bir deneyin yerini tutmaz. Ben bu sonucu, yeni bir biyolojik gruba genelleme sınaması olarak okurum; köken tespiti için aynı kanıtı ikinci kez kullanmam.[1]

Sahaya giden ölçüm

Broad Institute’ta patojen gözetimi çalışan Bronwyn MacInnis, Wired’a yaptığı değerlendirmede teknolojinin tehdide karşı hazırlığa katkısını destekliyor; ardından sınırı koyuyor: Bir sinyal saptamak, patojenin gerçek sonucunu veya tehdidin tasarlanıp tasarlanmadığını belirlemekten hâlâ uzak. Radical Numerics de ulusal laboratuvarlar, kamu kurumları ve bağımsız değerlendiricilerle performansı incelemekte olduğunu söylüyor. Bu aşama, dış değerlendirmeye açık bir model aşaması. Tamamlanmış bir saha doğrulamasının yerine geçmiyor.[1]

Bir saha araştırmacısının işine yarayacak sonraki değerlendirmeyi bu ayrımdan kurardım. Hastalık yapma, köken ve biyolojik sonuç için hedefleri ayrı tanımlar; dondurulmuş bir modelle, dışarıdan seçilmiş örneklerde her birini sınardım. Doğal fakat alışılmadık diziler de karşılaştırmaya girmeli. Sonuçta yalnızca yakalanan örnekleri değil, yanlış alarm verilen örnekleri de görmek isterim. Yanlış alarm yükü, incelenecek malzemeyi ve araştırmacının zamanını belirler; kusursuz bir yöntem beklemenin de maliyeti vardır. Çevrimdışı erişim bu yükü ortadan kaldırmaz, ama bağlantının olmadığı yerde ölçüm yapabilmek ayrı bir kazanımdır. Benim ölçütüm, tek puanın etkileyiciliği değil, hangi karara hangi hata payıyla yardım ettiğinin açıkça gösterilmesi.[1]