Reflection, ağırlıklarını ekim içinde açmayı planladığı Beam’i tanıttı
Reflection, kodlama, akıl yürütme ve araçlarla görev yürütme için geliştirdiği Beam adlı metin modelini tanıttı. Şirket erken erişim başvurusu alırken son güvenlik değerlendirmeleri sürüyor; indirilebilir ağırlıkların ekim ayının ilerleyen bölümünde yayımlanması planlanıyor. Görev yeteneği ile güvenlik için ayrı eğitim uygulayan şirket, ağırlıklarla birlikte teknik rapor, model kartı ve geliştirici araçlarını Apache 2.0 lisansıyla paylaşmayı amaçlıyor.
Yapay Zekâ··Sabah
Erken erişim, indirilebilir ağırlıklardan önce geliyor
Eski Google DeepMind araştırmacılarının kurduğu yapay zekâ şirketi Reflection, Beam adlı metin modelini 5 Ekim’de tanıttı. Şirketin ağırlıklarını açmayı planladığı ilk model, kodlama, akıl yürütme ve araçlarla yürütülen çok adımlı görevler için geliştirildi. Son güvenlik değerlendirmeleri sürerken seçili bir grubun erken sürümü denemesi için başvuru alınıyor. Kullanıcılar bu aşamada bekleme listesi üzerinden erken erişim isteyebiliyor. İndirilebilir model ağırlıklarının ise ekim ayının ilerleyen bölümünde açılması planlanıyor. Ağırlıklarla birlikte teknik rapor, model kartı ve geliştirici bileşenleri de yayımlanacak.[1], [2]
Ön eğitim ve pekiştirmeli öğrenme ayrı yürütüldü
Beam, her belirteçte parametrelerinin bir bölümünü etkinleştiren uzmanlar karışımı mimarisini kullanıyor. Belirteçler, modelin girdileri işlerken kullandığı birimler. Reflection’ın açıkladığı mimaride toplam 501 milyar parametre bulunuyor; bir işlem sırasında bunların 23 milyarı etkinleşiyor. Şirket, ön eğitimde web içeriğinden, kamuya açık kaynaklardan ve lisanslı özel veri kümelerinden gelen 23,8 trilyon belirteç kullandığını belirtti. Bu çalışma 6.144 NVIDIA GB300 işlemcisinde dört haftadan kısa sürdü. Ayrı pekiştirmeli öğrenme aşamasında ise yaklaşık 10.500 GB300 işlemcisi dört hafta kullanıldı. Şirket bu aşamada 100 milyondan fazla görev denemesi üretildiğini bildirdi.[1], [2]
Orta eğitim aşamasında yapılandırılmış kod depoları, uzun süreli görevler ve uzun belgeler kullanılarak bağlam uzunluğu bir milyon belirtece çıkarıldı. Bu, modelin aynı görev sırasında işlediği metnin kapsamıyla ilgili bir özellik. Reflection’ın teknik açıklaması, eğitim sırasında hatalardan kurtarma ve çalışmanın durumunu kontrol noktalarında saklama düzeneklerini de içeriyor. Modelin uzmanları arasında iş yükünün dengelenmesi de eğitim altyapısının açıklanan parçaları arasında. Eğitim sayılarını modelin geliştiricisi verdi.[1]
Ayrı güvenlik modeli, yayımlanacak Beam’e katılıyor
Güvenlik çalışması için ön eğitim kontrol noktasından ikinci bir model eğitildi. Reflection, görev yeteneğini öğreten modelin davranışlarıyla güvenlik öğreten modelin davranışlarını çok öğretmenli damıtma yöntemiyle birleştirdiğini açıkladı. Belirtilen ilkeler arasında talimatları izlemek, belirsizliği kabul etmek ve modelin yapay zekâ kimliğini korumak bulunuyor. Şirket içi güvenlik testleri ile güvenlik sonuçlarının teknik raporla paylaşılması amaçlanıyor. Çıkış paketinin planlanan lisansı Apache 2.0. Bu pakette ağırlıkların yanında Beam’i çalıştırmak ve ince ayar yapmak için araçların da bulunması bekleniyor.[1], [2]
