Vekil ölçüt ile hedef arasındaki bağ

Bir hata ödül programı, gelen bildirim sayısını doğrudan ölçemediği bir şeyin vekili olarak kullanır: bulunan gerçek açık sayısı. Bu vekilin işe yaraması, bir bildirim yazmanın belirli bir emek gerektirmesine bağlıdır. Financial Times'a dayanan habere göre Apple, uydurma açıklar içeren düşük nitelikli yapay zekâ üretimi bildirimlerin inceleme hattını tıkaması üzerine araştırmacıların gönderebileceği bildirim sayısını sınırladı ve 30 günlük bir bekleme süresi getirdi. Üretim maliyeti düştüğünde sayılan kümenin bileşimi değişir ve vekil ölçüt hedefi izlemeyi bırakır.[1]

Buradaki müdahalenin nereye uygulandığı önemli. Üst sınır ve bekleme süresi bildirimin niteliğine değil, gönderen kişiye bağlanıyor. Böyle bir eşik, ayırt etme gücü olmayan bir sınıflandırıcıya benzer: kabul oranını düşürür, ama hangi tarafta kimin kaldığını gönderim geçmişine göre belirler. Nitelik ölçütüyle değil, gönderen kimliğiyle çalışan bir filtre, doğru bildirimi de yanlış bildirimle aynı oranda eler.[1]

Eşiğin iki yönlü bedeli

Bu bedelin bir örneği belgelenmiş durumda. İtalyan girişim Bynario, ChatGPT kullanarak bir makinenin tümüyle ele geçirilmesine yol açabilecek ciddi bir macOS açığı buldu, ancak Apple daha fazla gönderimi engellediği için bunu iletemedi; genel müdür Alfredo Pesoli açığın karaborsa değerini 100.000 dolar ile 200.000 dolar arasında tahmin ediyor. Habere göre Apple sonrasında Bynario ile temasa geçti. Tek bir vaka bir oran vermez, ama eşiğin yanlış negatif üretebildiğini gösterir; bu, kabul oranına bakan bir değerlendirmede görünmeyen bir maliyet.[1]

Eşiği değerlendirmek için gereken sayılar ise yok. Haberde sınırın hangi tarihte yürürlüğe girdiği, kaç bildirimin nitelik gerekçesiyle elendiği ve daha yüksek kota talebinin hangi ölçütle karara bağlandığı yer almıyor. Aynı haberde Apple'ın kendi açık aramasında Anthropic ve OpenAI modellerini kullandığı ve son güncellemelerinin her zamankinin beş katı düzeltme taşıdığı aktarılıyor. Bu da bir hacim rakamı; düzeltilen açıkların ciddiyeti ve istismar edilme olasılığı bildirilmediği sürece programın hedefine ne kadar yaklaştığını göstermez. Bu soruyu yanıtlayacak asgari veri seti dar: yürürlük tarihi, elenen bildirim sayısı ve kota itirazlarının sonucu.[1]