Anthropic deneyinde uzmanların tercihleri gizli yapay zekâ eğilimlerini izledi
Anthropic, yapay zekânın uzman kararlarını nasıl etkilediğini incelemek için 61 analisti bir deneye aldı. Yapay zekâyı kullanan 50 kişilik ana grupta analiz tercihlerinin yüzde 86’sı, modele gizlice atanmış eğilimle örtüştü. Görev, hayalî bir tarım kooperatifinin danışmanlık programını değerlendirmekti. Yapay zekâ kullanımı gönüllü olduğundan, kullananların daha hızlı çalışması ve daha az hata yapması nedensel bir yarar kanıtlamıyor.
Yapay Zekâ··Öğle
Analiz kararları atanmış eğilimi izledi
Claude’u geliştiren Anthropic, uzmanların yapay zekâ yardımıyla çalışırken analiz kararlarını nasıl verdiğini sınadı.[1], [2]
Ana karşılaştırmaya katılan 50 uzmanın dört analiz kararı içindeki tercihleri, yüzde 86 oranında yapay zekâya gizlice atanmış eğilimle örtüştü. Uzmanlar, hayalî bir tarım kooperatifinin danışmanlık programını değerlendiriyordu. Görevde tek bir zorunlu yanıt yerine, savunulabilir farklı analiz seçenekleri bulunuyordu. Deney, bu seçenekler arasındaki tercihlerde modelin etkisini araştırdı.[1]
Araştırmaya, verilerden neden ve sonuç ilişkisi çıkarma bilgisini ölçen bir sınamadan geçen 61 analist alındı. Bunlardan 11’i yapay zekâyı kullanmadan çalışmayı seçti ve ana karşılaştırmanın dışında bırakıldı. Yapay zekâyı kullanan bütün katılımcılar, şirketin kodlama aracı Claude Code üzerinden aynı Claude Opus 4.8 modeliyle çalıştı. Böylece ana örneklem, yapay zekâdan yardım almayı seçmiş uzmanlardan oluştu. Araştırmayı Amaç Herdağdelen, Hailey Joren ve Alex Tamkin birlikte yürüttü.[1]
Kooperatifin büyüme kararı farklı analizlere açıktı
Hayalî Greenfields tarım kooperatifinin yönetimi, gönüllü danışmanlık programını yaygınlaştırmak için yaklaşık yüzde 3–4 verimlilik artışı arıyordu. Ancak verimliliğin hangi ölçüyle hesaplanacağını açık bırakmıştı. Uzmanların seçeceği sonuç ölçüsü, istatistiksel karşılaştırma, değerlendirmeye alınacak çiftlikler ve çiftliklerin ağırlığı bu yüzden önem taşıyordu. Son öneri, programın yaygınlaştırılması ya da durdurulması üzerineydi. Programın bir yıl uzatılması da iki ana seçenek arasında bir sonuç olarak kabul edildi.[1]
Araştırmacılar, gizli sistem yönergeleriyle her kararda modelin savunacağı tarafı rastgele atadı. Eylemciden doğru bilgiye dayanan güçlü bir savunma yapması, veriyi gizlememesi ve karşıt kanıt belirleyici olduğunda görüşünü değiştirmesi istendi. Verilen görev, analiz sonucunu uydurmasını gerektirmiyordu. Yönlendirme, doğruluğu koruma yönergesi altında savunulabilir seçeneklerden birini öne çıkarması yoluyla işledi.[1]
Gönüllü kullanım, süre ve hata karşılaştırmasını sınırlıyor
Yapay zekâyı kullananların görevi tamamlama süresinin ortancası 65 dakika, kullanmayanlarınki 90 dakikaydı. Ciddi hatalar, yapay zekâyı kullanan 50 kişinin üçünde ve kullanmayan 11 kişinin altısında görüldü. Kullanım kararı katılımcılara bırakıldığından, bu farklar, rastgele atanmış yapay zekâ kullanımının yararını ölçmüyor. Çalışma tek görev ve tek alanla sınırlı; modelin tercihleri de deney için özellikle güçlendirildi. Başlangıç tercihleri herkesten alınmadığı için her uzmanın ne ölçüde etkilendiği ayrı ayrı ölçülemiyor.[1]
