Anthropic, yapay zekâ güvenliği için daha kapsamlı sınamalar önerdi
Anthropic, yapay zekâ güvenlik değerlendirmelerinin tasarlanması, yürütülmesi ve sonuçlarının aktarılması için yöntem önerileri yayımladı. Zararlı isteklere yardım etmeme ile meşru isteklere yanıt verme ayrı ayrı sınanıyor; uzun konuşmalar da benzetimle değerlendiriliyor. Şirket, otomatik puanlayıcıların insanlarla karşılaştırılmasını, çözümleme planlarının sonuçlar görülmeden belirlenmesini ve iyileşmelerle birlikte belirsizliklerin, değişmeyen bulguların da açıklanmasını öneriyor.
Yapay Zekâ··Öğle
Güvenlik sınamaları tek ret yanıtını aşıyor
Anthropic, yapay zekâ güvenliğini değerlendirmek için sınama tasarımını, uygulamayı ve sonuçların aktarılmasını kapsayan öneriler yayımladı.[1], [2]
Şirket, bir modelin işi yapabilmesiyle belirli bir durumda uygun davranmasını ayrı ölçüm soruları olarak ele alıyor. Zararlı isteklere yardım etmeme ile meşru isteklere yanıt verme ayrı ayrı sınanıyor. Hem yararlı hem zararlı amaçlarla kullanılabilen biyoloji ve siber güvenlik alanlarında uygun yardımın sınırları, konuya özgü puanlama yönergeleriyle belirleniyor.[1]
Uzun konuşmalarda kullanıcı benzetimi yapılıyor
Çok turlu konuşma benzetimlerinde ilk kullanıcı mesajı sabit tutuluyor. Ayrı bir model, belirlenen amaçlara, yöntemlere, üsluba ve koşullara göre sonraki mesajları üretiyor. Puanlayıcı da konuşmanın tamamındaki davranışı değerlendiriyor. Öneriler, sınama verilerinin eğitim verilerine karışmasını ve modelin hedeflenen davranışı göstermeden sınamayı geçmesini sağlayan kestirmeleri de ele alıyor. Puanlayıcı bozulursa sessizce puan üretmek yerine sorunlu örnekleri işaretlemesi ve uyarı vermesi isteniyor. Tasarımın başında konu uzmanlarının teknik ve yöntem uzmanlarıyla birlikte çalışması öneriliyor.[1]
Puanlama ve çözümleme planları denetleniyor
Önerilere göre insanlar, modelin verdiği puanları görmeden örnekleri etiketliyor. İnsanlarla puanlayıcının uyumu, rastlantısal uyuşma dikkate alınarak düzeltiliyor ve insanların birbirleriyle uyumuyla karşılaştırılıyor. Çözümleme planları ve iyileşme eşikleri, sonuçlar incelenmeden belirleniyor. Çalışmanın yeniden yapılabilmesi için model sürümleri, istemler, örnekleme ayarları, puanlayıcı ayrıntıları ve tarihler açıklanıyor. Belirsizlik aralıkları ile değişmeyen kategori sonuçları da iyileşmelerin yanında yayımlanıyor. Anthropic’in bu yöntem önerileri, modellerine verilmiş bağımsız bir güvenlik onayı anlamına gelmiyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.