Amazon iletileri ayrı sorulunca sohbet robotlarının yanıtları değişti
Gazeteci Haroun Adamu’nun küçük karşılaştırmasında Gemini, ChatGPT ve Claude, Amazon iletilerine benzeyen 20 mesajı birlikte verildiğinde doğru sınıfladı. Gerçek iletiler yeni sohbetlerde ayrı ayrı sorulduğunda Gemini ile Claude kimi yanıtlarda şüphe bildirdi; ChatGPT bunları tanıdı. Gazetecinin hazırladığı örnekler ve sınırlı tekrarlar, bu denemenin kapsamını belirliyor. Sonuçlar, bütün kullanım durumlarını kapsayan bir genel başarım sıralaması sunmuyor.
Yapay Zekâ··Gece
Yirmi ileti birlikte değerlendirildi
Gazeteci Haroun Adamu, Amazon e-postalarına veya kısa mesajlarına benzeyen 20 iletiyle Gemini, ChatGPT ve Claude’un ücretsiz sürümlerini karşılaştırdı. Uyarılardan esinlenerek 15 dolandırıcılık örneği hazırladı; gerçek yazışmalara benzeyen beş örnek ekledi. Bütün küme birlikte verildiğinde üç sohbet robotu da her iletiyi doğru sınıfladı. Denemede kullanılan örnekleri gazeteci kendisi seçti ve hazırladı. İlk sonuç, bu toplu sunuma aitti.[1]
Gerçek iletiler yeni sohbetlerde soruldu
Adamu daha sonra yeni sohbetler açarak hesapta oturum açılmasıyla ve geri ödemeyle ilgili gerçek iletileri ayrı ayrı sundu. Gemini ile Claude, geri ödeme mesajına ilişkin kuşkular da dâhil olmak üzere bazı yanıtlarda şüphe bildirdi. ChatGPT iki iletiyi de gerçek olarak tanıdı. Oturum açma uyarısında bağlantı bulunmuyordu. Yanıtlar, daha büyük ve karışık kümenin birlikte sunulduğu kusursuz sınıflamadan farklılaştı.[1]
Öneriler de modele göre değişti
Sonraki varsayımsal soruda, parola ile kart bilgileri paylaşıldıktan sonra ne yapılacağı soruldu. Modeller farklı öneri listeleri verdi; Adamu, Gemini’nin yanıtını daha kapsamlı bulurken Claude’un yanıtında eksikler gördü. Bu, gazetecinin hazırladığı örneklerle ve sınırlı tekrarlarla yürüttüğü küçük bir denemeydi. Sonuçlar, bu konuşmalarda olanları anlatıyor. Gerçek dolandırıcılıkların temsil edici bir derleminde hizmetlerin nasıl sıralanacağını ortaya koymuyor.[1]