IBM’in Granite önizlemesi modele veri ile yönergeyi ayırmayı öğretiyor
IBM, komutlar, girdi olarak verilen metinler ve yanıt koşulları arasındaki sınırları öğrenen deneysel Granite modellerini paylaştı. LLMON adlı işaretleme biçimi, belgelere veya araç yanıtlarına gizlenen zararlı yönergeleri ayırmayı hedefliyor. Önizleme, geliştirici araçlarıyla dönüşüm örneklerini de kapsıyor. Şirket, bu modelleri gerçek hizmetlerde kullanmayı önermiyor ve sınırların öğrenilmiş bir davranış olduğunu özellikle belirtiyor.
Yapay Zekâ··Öğle
İşaretleme biçimi model önizlemesine dönüştü
IBM, makine öğrenmesi modellerinin paylaşıldığı Hugging Face platformunda 12 Kasım’da deneysel Granite modellerini yayımladı. Bu modeller, yönergeleri, girdi verilerini ve yanıt koşullarını ayrı ayrı işaretleyen LLMON biçimini okuyup yazacak şekilde eğitildi. Yeni paylaşım, daha önce tanıtılan işaretleme dili çalışmalarına model ağırlıklarıyla geliştirici araçlarını ekliyor. IBM, modelleri araştırma ve değerlendirme amaçlı deneysel önizleme olarak tanımlıyor. Şirket, bunların gerçek kullanıcılara hizmet veren üretim ortamlarında kullanılmasını açıkça önermiyor.[1], [2]
Komutla girdisi arasında açık bağ
LLMON içindeki yürütme bloğu, hangi yönergenin hangi girdiye uygulanacağını ve yanıtın hangi koşullara uyacağını belirtiyor. Ayrılmış işaretler, yapıyı sıradan metinden ayırıyor; kimlikler ilgili parçalar arasında bağ kuruyor. Eğitim örneklerinde, metinde yer aldığı halde yürütme bloğu tarafından yetkilendirilmeyen yanıltıcı komutlar da bulunuyor. IBM’in amacı, dışarıdan alınan bir belgeye veya araç yanıtına gizlenen emrin okunacak malzeme olarak ele alınması. Böylece modelin, uygulamanın verdiği asıl görevle bu girdinin içindeki komutu ayırması hedefleniyor.[1]
Sınır öğrenilmiş davranışa dayanıyor
IBM, modelin okuduğu verilere zararlı komut eklenmesi anlamına gelen dolaylı yönerge saldırılarına karşı sınama sonuçları bildiriyor. Bu değerlendirmeler geliştiricinin kendi sonuçları; şirket, yetki sınırının zorunlu kılınmış bir güvence yerine öğrenilmiş davranış olduğunu belirtiyor. IBM’de birden fazla konuşma turuna yayılan ve kendini uyarlayan saldırılar üzerindeki çalışma sürüyor. Dönüştürme araçları yapılandırılmış verileri LLMON ile mevcut biçimler arasında taşırken, Mellea bütünleşme örnekleri denemeleri destekliyor. Geliştiricilere sunulan önizleme, yaklaşımın bu sınırlar içinde sınanmasına yönelik.[1]
