Kakao, dil modellerine görüntü okutan görsel bileşenlerini yayımladı
Kakao, Kanana-2 ailesindeki iki görsel kodlayıcıyı araştırma, geliştirme ve ticari kullanıma izin veren lisansla Hugging Face üzerinden yayımladı. Bileşenler görüntülerdeki nesneleri, yazıları ve sayfa düzenini çıkararak dil modeline iletiyor. Daha önce şirketin konferansında duyurulan paylaşım, doğrudan cihaz üzerinde kullanım gözetilerek geliştirilen küçük bir modeli de kapsıyor.
Yapay Zekâ··Akşam
Görüntünün özellikleri dil modeline aktarılıyor
Teknoloji şirketi Kakao, Kanana-2-vision-encoder ailesinin medium ve tiny modellerini yapay zekâ modellerinin paylaşıldığı Hugging Face üzerinden yayımladı. Şirket, 13 Ekim'deki konferansında önceden duyurduğu paylaşımın gerçekleştiğini 21 Ekim'de açıkladı. Görsel kodlayıcı, farklı türden bilgileri birlikte işleyen bir sistemin görüntüyle ilgili bölümünü oluşturuyor. Görüntüdeki nesneleri, yazıları, konumları ve biçimleri çıkararak bu özellikleri dil modeline iletiyor. Dil modeli de kendisine iletilen görsel bilgiyi kullanıcının sorusuyla birlikte yorumlayıp yanıtı üretiyor. Medium modeli 426 milyon parametre içerirken tiny modelinde 98 milyon parametre bulunuyor. Parametreler, burada yayımlanan modellerin büyüklüğünü belirtiyor.[1], [2]
Eğitimde küçük yazılar ve belge düzeni gözetiliyor
Kullanım örnekleri arasında menüdeki yemekleri ve fiyatlarını okumak, bir belgenin içeriğiyle sayfa düzenini anlamak ve fotoğraftaki durumu betimlemek var. Kakao, eğitim yöntemlerinde küçük yazıları ve karmaşık belgelerdeki ince görsel ayrıntıları korumaya odaklandığını belirtiyor. Kodlayıcıyı eğitirken kendi Kanana-2 dil modelinden yararlanıyor. Geliştirme sırasında bilgi damıtma ve modeli hafifletme yöntemlerini de uyguladı. Tiny modeli tasarlanırken doğrudan cihaz üzerinde kullanım gözetildi. Şirket, dil modelinin yeteneklerinden görsel kodlayıcı eğitiminde de yararlanıyor.[2]
Kakao, modelleri dokuz alanda toplam 42 karşılaştırmayla değerlendirdi. Sınamalar, görüntüye ilişkin soruları yanıtlama, İngilizce ve Korece yazı tanıma, belge anlama ve görüntü içindeki nesnelerin konumunu belirleme gibi görevleri kapsıyor. Şirket, Korece sınavları ve ayrıntılı görsel bilgiyi algılamayı da değerlendirdi. Başka kodlayıcılarla yapılan başarım karşılaştırmaları, şirketin kendi değerlendirmelerine dayanıyor. Karşılaştırmalarda Google'ın SigLIP 2, Meta'nın Perception Encoder, Apple'ın AIMv2 ve Alibaba'nın Qwen3.5-ViT modelleri yer alıyor.[1], [2]
Lisans ticari kullanıma da izin veriyor
İki model de araştırma, geliştirme ve ticari kullanıma izin veren Kanana Open License ile sunuluyor. Görsel kodlayıcılar, Kakao'nun Kanana-o sistemi için yürüttüğü çalışmaların bir parçası. Şirket, bu sistemin dil modelini, görüntü işleme ve ses işleme bileşenlerini kendi geliştiriyor. Diğer bileşenleri de aşamalı olarak paylaşmayı planladığını açıkladı. Şimdiki paylaşım, iki görsel kodlayıcıyı kapsıyor; sistemin kalan parçaları için sonraki yayımlar öngörülüyor. Şirketin birleşik temel model çalışmalarına öncülük eden Noh Byung-seok, Kakao'nun kendi modellerini geliştirmeyi ve ilgili teknolojileri paylaşmayı sürdürme niyetini dile getirdi.[1], [2]
