Eigen RadarYapay Zekâ
Analiz

Küçük model deneyinde sözcüklerle yazılan çıktı, fark edilmeyen sipariş hatalarını azalttı

Araştırmacılar, iki küçük dil modeline aynı pizza siparişini altı farklı biçimde yazdırdı. Olağan sözcüklerle hazırlanan çıktı, doğru biçimlenmiş görünmesine rağmen yanlış olan siparişleri azalttı. Yalnızca çıktıyı kısaltmak ise tutarlı bir doğruluk artışı sağlamadı. Yeni ön baskı, alan dışı istekleri reddetmeyi öğrenen modellerin bazı gerçek siparişleri de geri çevirdiğini ve nezaket ifadelerinin bu sorunla ilişkisini bildiriyor.

Yapay Zekâ··Akşam
Bir üniversitenin dil teknolojisi laboratuvarında, pencere önündeki yüksek masada dizüstü bilgisayarına bakan bir araştırmacı; yanında kapağına sipariş fişi yapıştırılmış kapalı bir pizza kutusu duruyor.

Biçimi doğru, siparişi yanlış çıktı

Yeni bir ön baskı, siparişin biçimi doğru göründüğü için fark edilmeyen pizza siparişi hatalarını inceliyor. Araştırmacılar iki küçük dil modelini, aynı siparişi altı farklı ve bilgi kaybettirmeyen biçimde yazacak şekilde eğitti. Bunlar arasında parantezli yapılar, kısa simgeler ve olağan sözcükler bulunuyor. PIZZA kıyaslamasının insanlarca yazılmış 1.357 siparişlik sınama kümesi kullanıldı. Beş eğitim havuzu büyüklüğü ve beş ayrı başlangıçla yürütülen deneyler toplam 300 çalıştırmayı kapsadı. Her biçim, aynı siparişin farklı yazılışını temsil etti.[1]

Sözcük biçimi sessiz hataları azaltıyor

Qwen modelinde olağan sözcüklerle yazılan çıktının yüzde 4,5’i, biçimsel olarak geçerli görünen yanlış siparişlerden oluştu. Kıyaslamanın özgün ifade biçiminde bu oran yüzde 10,3’tü. İkinci model LFM2’de karşılık gelen oranlar yüzde 10,0 ve yüzde 17,9 oldu. Sözcük biçimi Qwen’de çok daha az belirteç de verdi. Benzer uzunluktaki simgeli ve sözcüklü biçimler karşılaştırıldığında sözcükler öne çıktı. Çıktıyı yalnızca kısaltmak tutarlı doğruluk kazancı sağlamadı. Farkın önemli bölümü, istenmeyen malzemeleri belirten olumsuz ifadelerde görüldü.[1]

Retler gerçek istekleri de yakalıyor

Bütün eğitim çalıştırmalarına menü dışı istekler ve konuşma içinde yapılan düzeltmeler eklendi. Modeller, eğitimde görmedikleri menü dışı örneklerin çoğunu reddetmeyi ve müşterinin malzemeyi değiştirmesi gibi düzeltmelerin önemli bölümünü uygulamayı öğrendi. Katı kural, gerçek siparişlerin de yüzde 2,1 ile yüzde 10,1 arasındaki bölümünü geri çevirdi. Bunların çoğunda yapay eğitim dil bilgisinde bulunmayan selamlama, teşekkür ya da başka ifadeler vardı. Ana sonuçlar, tek bir sipariş kıyaslamasından ve bir milyardan az parametreli iki modelden elde edildi.[1]

Kaynakça

  1. Haber kaynağıarXivKüçük modellerde çıktı biçimi, görünmeyen sipariş hatalarını değiştirdi↩1↩2↩3