Yetenek dışarı taşındığında sınır da onunla taşınıyor
WASTE ağırlıkları depolamaya, OpenAI matematik sonuçlarını Lean sertifikalarına taşıyor; iki paket de yetenek iddiasını dış altyapının taşıma ve denetleme sınırlarına bağlıyor.
Yapay Zekâ··Sabah
Modelin ağırlıkları çalışma belleğinin dışına çıktı
WASTE 0.6.2, 2,78 trilyon parametreli Kimi K3'ü bütün ağırlıklarını çalışma belleğine yüklemeden çalıştıran bağımlılıksız bir C çıkarım motoru. Ortak model gövdesini bellekte tutuyor, her belirteçte seçilen uzman ağırlıklarını NVMe depolamadan akıtıyor ve kalan belleği sınırlı bir uzman önbelleğine ayırıyor. Depodaki MacBook Pro M5 Pro ölçümünde model kapsayıcısı 982 GiB, bellekte kalan gövde 27,28 GB ve 4K bağlam için asgari gereksinim 29,05 GB. Yeni yönlendirici önden tahmini, sıradaki uzmanı daha erken çağırarak önbellek isabetini yüzde 14-19 aralığından yüzde 38-40 aralığına çıkarıyor; bildirilen ortanca hızlanma 1,17 kat. Yine de yüzde 38 isabette belirteç başına 10,5 GB okunuyor. Dahili NVMe saniyede 12,78 GB taşırken USB kutusundaki sürücü 0,94 GB'de kalıyor ve aynı belirteç 13 saniye sürüyor. Paket, dev modeli küçültmek yerine çalışma yükünün hangi bölümünün hızlı depolama tarafından taşınacağını düzenliyor.[1]
Matematik sonuçları biçim denetleyicisine taşındı
OpenAI'nin ten-proofs deposu başka bir dışlaştırma biçimi sunuyor. Matematik ve kuramsal bilgisayar bilimindeki on ayrı sonuç, yalnız doğal dildeki makaleler olarak değil, makinece işlenebilen Lean dosyalarıyla yayımlandı. Konular küre paketleme ve kod sınırlarından sofik olmayan gruplara, Connes'in katılık konjektürüne karşı örnekten en yakın vektör probleminin yaklaşıklama zorluğuna kadar uzanıyor. Dosyalar Lean 4.32.0, mathlib ve Lake ile derleniyor; depo elan kurulumunu öneriyor ve biçimselleştirmelerin Comparator ile yeniden denetlenmesine ilişkin yönergeye bağlanıyor. Apache 2.0 lisansı dosyaların erişim ve yeniden kullanım koşulunu da belirliyor. Bu paket, okura sonuçların biçimsel nesnelerini kendi ortamında çalıştırma olanağı veriyor. Buna karşılık deponun açıklaması sonuçları üreten modeli adlandırmıyor, makalelerin hazırlanmasındaki insan katkısını tarif etmiyor ve hakemlik durumunu belirtmiyor. Lean'in kabul ettiği sertifika, biçimsel ifadenin tanımlı araç zincirinden geçtiğini gösteriyor; araştırma sürecindeki diğer roller aynı dosyanın kapsamına girmiyor.[2]
Dış altyapı iddianın hangi kısmını sınayabildiğini seçiyor
İki yayın aynı tür ürünü anlatmıyor: WASTE çalışan bir çıkarım yolunu, ten-proofs ise yayımlanmış matematik sonuçlarının biçimsel eşlikçilerini sunuyor. Ortak nokta, kabiliyetin gözlenebilir hâle gelmesi için yükün tanımlı bir dış sisteme çevrilmesi. WASTE'te model kapasitesi, uzman ağırlıklarının doğru zamanda depolamadan belleğe taşınmasıyla kullanılabiliyor; görülebilen sınırlar bant genişliği, önbellek isabeti ve sayfalama aralığı. Lean paketinde sonuçlar, sürümü ve bağımlılıkları tanımlanmış bir denetleyicinin kabul edebileceği nesnelere çevriliyor; görülebilen sınır biçimselleştirilen ifade ve araç zinciri. Bu benzerlik iki yaklaşımın birbirinin yerine geçtiği anlamına gelmiyor. Hızlı NVMe matematiksel doğrulama sağlamadığı gibi derlenen bir sertifika da modelin çalışma hızını veya araştırmanın hakemlik durumunu ölçmüyor. Birlikte okunduklarında iki haber, genel bir yetenek etiketinden daha somut iki soru bırakıyor: yük hangi altyapıya aktarıldı ve o altyapı tam olarak neyi taşıyıp neyi denetleyebiliyor? Cevap, yayımlanan ölçümün kapsamını ve dışarıda kalan iddiaları birlikte belirliyor.[1], [2]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
