OWASP araştırmacıları, büyük dil modeli uygulamalarındaki güvenlik risklerini 7.714 olayla karşılaştırdı. İstem enjeksiyonu uzmanlarda ilk sıradayken olaylarda on ikinci, yanlış bilgi ise uzmanlarda on üçüncü, olaylarda ikinci oldu. İki sıralamanın uyumu 0,20 ölçüldü. Çalışma 6.639 olayı 20 başlıkla etiketledi; sınıflandırma kesinliğindeki değişkenlik sonuçlara belirsizlik katıyor.
OWASP'ın büyük dil modeli uygulamaları için hazırladığı Top 10 listesinin iki yürütücüsü, uzman sıralamasını 7.714 güvenlik olayından oluşan bir veri kümesiyle karşılaştırdı. İstem enjeksiyonu uzman listesinde birinci sıradayken olaylarda on ikinci, yanlış bilgi ise uzmanlarda on üçüncü, olaylarda ikinci sırada yer aldı.[1]
İki listenin Cohen kappa ile ölçülen uyumu 0,20 çıktı. Araştırmacılar, bu sonucun uzmanların önceliklendirmesi ile belgelenmiş olayların dağılımının aynı sinyali vermediğini gösterdiğini söylüyor; karşılaştırma, bir listenin diğerini geçersiz kıldığı sonucunu tek başına kurmuyor.[1]
Çalışma 6.639 olayı 20 başlıklı bir sınıflandırmaya göre etiketledi ve sınıflandırıcı hatası için Bayesçi düzeltme uyguladı. Sınıflandırıcı kesinliği başlıklar arasında geniş ölçüde değişti. Bu nedenle olay dağılımı, sayılmış bir gerçek olsa da, ölçüm belirsizliğinden bağımsız okunamıyor. Karşılaştırmanın değeri, uzman listesi ile belgelenmiş olayları aynı ölçekte yan yana koymasında. Ancak olayların sınıflandırılması değişken kesinlik taşıdığı için, sıralamadaki fark hem güvenlik öncelikleri hem de verinin nasıl etiketlendiği bağlamında değerlendirilmek zorunda. OWASP araştırmacıları, büyük dil modeli uygulamalarındaki güvenlik risklerini 7.714 olayla karşılaştırdı. İstem enjeksiyonu uzmanlarda ilk sıradayken olaylarda on ikinci oldu; ölçüm yöntemi, sonuçlardaki belirsizliği de açıkça gösteriyor. Bu gündem özeti, kaynağın anlattığı olayın aktörünü, bildirilen kapsamını ve açıkça belirtilen belirsizliklerini birlikte korur. Kaynakta yer almayan başka bir gelişme, kesin sonuç veya karşılaştırma bu karta eklenmez; başlık yalnızca bu olayı ayırır.[1]
