Eigen RadarYapay Zekâ
Analiz

Anthropic, yapay zekâ güvenliği için daha kapsamlı sınamalar önerdi

Anthropic, yapay zekâ güvenlik değerlendirmelerinin tasarlanması, yürütülmesi ve sonuçlarının aktarılması için yöntem önerileri yayımladı. Zararlı isteklere yardım etmeme ile meşru isteklere yanıt verme ayrı ayrı sınanıyor; uzun konuşmalar da benzetimle değerlendiriliyor. Şirket, otomatik puanlayıcıların insanlarla karşılaştırılmasını, çözümleme planlarının sonuçlar görülmeden belirlenmesini ve iyileşmelerle birlikte belirsizliklerin, değişmeyen bulguların da açıklanmasını öneriyor.

Yapay Zekâ··Öğle
Bir yapay zekâ araştırma ofisinde ayrı çalışma bölmelerinde oturan değerlendiriciler, basılı konuşma dökümlerini kalemle tek başına inceliyor; masalarda ekran yok, yalnızca kâğıt yığınları ve dosyalar var.

Güvenlik sınamaları tek ret yanıtını aşıyor

Anthropic, yapay zekâ güvenliğini değerlendirmek için sınama tasarımını, uygulamayı ve sonuçların aktarılmasını kapsayan öneriler yayımladı.[1], [2]

Şirket, bir modelin işi yapabilmesiyle belirli bir durumda uygun davranmasını ayrı ölçüm soruları olarak ele alıyor. Zararlı isteklere yardım etmeme ile meşru isteklere yanıt verme ayrı ayrı sınanıyor. Hem yararlı hem zararlı amaçlarla kullanılabilen biyoloji ve siber güvenlik alanlarında uygun yardımın sınırları, konuya özgü puanlama yönergeleriyle belirleniyor.[1]

Uzun konuşmalarda kullanıcı benzetimi yapılıyor

Çok turlu konuşma benzetimlerinde ilk kullanıcı mesajı sabit tutuluyor. Ayrı bir model, belirlenen amaçlara, yöntemlere, üsluba ve koşullara göre sonraki mesajları üretiyor. Puanlayıcı da konuşmanın tamamındaki davranışı değerlendiriyor. Öneriler, sınama verilerinin eğitim verilerine karışmasını ve modelin hedeflenen davranışı göstermeden sınamayı geçmesini sağlayan kestirmeleri de ele alıyor. Puanlayıcı bozulursa sessizce puan üretmek yerine sorunlu örnekleri işaretlemesi ve uyarı vermesi isteniyor. Tasarımın başında konu uzmanlarının teknik ve yöntem uzmanlarıyla birlikte çalışması öneriliyor.[1]

Puanlama ve çözümleme planları denetleniyor

Önerilere göre insanlar, modelin verdiği puanları görmeden örnekleri etiketliyor. İnsanlarla puanlayıcının uyumu, rastlantısal uyuşma dikkate alınarak düzeltiliyor ve insanların birbirleriyle uyumuyla karşılaştırılıyor. Çözümleme planları ve iyileşme eşikleri, sonuçlar incelenmeden belirleniyor. Çalışmanın yeniden yapılabilmesi için model sürümleri, istemler, örnekleme ayarları, puanlayıcı ayrıntıları ve tarihler açıklanıyor. Belirsizlik aralıkları ile değişmeyen kategori sonuçları da iyileşmelerin yanında yayımlanıyor. Anthropic’in bu yöntem önerileri, modellerine verilmiş bağımsız bir güvenlik onayı anlamına gelmiyor.[1]

Kaynakça

  1. Haber kaynağıAnthropicAnthropic, güvenlik değerlendirmeleri için yöntem önerilerini yayımladı↩1↩2↩3↩4
  2. Haber kaynağıCrypto BriefingAnthropic, güvenlik değerlendirmelerinin tasarımı için öneriler yayımladı↩