OpenAI, Habitat depolama altyapısının işleyişini ve veriyi kullanıcıya yakın tutmakla aynı bölgede hesaplama hizmetine yer ayırmak arasındaki seçimi açıkladı. Şirket, ortak veri tabanlarını, yerel önbellekleri ve çoğaltmayı anlatıyor. Ayrı bir depolama sistemi de geliştirme aşamasında. Mevcut hizmette verinin nereye konabileceğini güç, soğutma ve veri merkezi kapasitesi sınırlıyor; önbellekte bulunmayan veriler için uzak bölgelere erişim gerekebiliyor.
Yapay Zekâ··Sabah
OpenAI, Habitat’ın depolama işleyişini açıkladı
OpenAI, çevrimiçi depolama katmanı Habitat’ın işleyişine ilişkin yeni teknik ayrıntılar yayımladı. Habitat, ChatGPT ölçeğinde çalışan hizmetlere depolama altyapısı sağlıyor.[1], [2]
İlk tasarım, Microsoft’un veri tabanı hizmeti Azure Cosmos DB’de ortak kapsayıcılar kullanıyordu. OpenAI, bölüm anahtarlarının çakıştığını ve yoğun kullanıcıların diğer kullanıcıları etkilediğini açıklıyor. Kritik hizmetler ayrı kapsayıcılarda daha iyi yalıtıldı, ancak ürün ekiplerinin kendi kapasite planlarını yapması gerekti. Ekip daha sonra yoğun anahtarları sınırlayan, çevrimdışı işleri düşük öncelikle işleyen ve kaynak kullanımına göre bölünen ortak tasarıma döndü.[1]
OpenAI’ye göre veriyi kullanıcıya yakın tutmak, bölgedeki güç, soğutma ve veri merkezi kapasitesine bağlı. Kapasitenin kısıtlı olduğu bölgelerde depolamaya yer ayırmak, hesaplama hizmetine ayrılabilecek kapasiteyi azaltabiliyor. Kimlik doğrulama bilgileri gibi küçük ve gecikmeye duyarlı veri kümeleri geniş ölçüde çoğaltılıyor. Sık okunan diğer nesneler ise yakındaki Valkey önbelleklerinde, yerel okumalar için tutulan geçici kopyalarda saklanıyor. Cosmos değişiklik akışı, güncelliğini yitiren kopyaları saniyeler içinde geçersiz kılıyor.[1]
Ayrı bir depolama tasarımı geliştiriliyor
OpenAI, Habitat’ı Rust ile yeniden yazarak aracı katmanın yükünü azalttığını belirtiyor. En yavaş okumalar yine de uzak depolamaya gidebiliyor. Şirket ayrıca RocksDB Cloud ile Raft çoğaltmasını kullanan eksabayt ölçekli bir sistem geliştiriyor. Tasarım, daha düşük en yüksek sorgu hızı karşılığında daha az flaş depolama kullanmayı hedefliyor. Bu çalışma, mevcut Cosmos tabanlı hizmetin yanında geliştirme aşamasında. Mevcut hizmet, bölgesel kesintilerde okumaları başka Cosmos bölgelerine yönlendiriyor.[1]
İlgili köşe yazıları
Bu gündem hakkında daha fazla bilgi için ilgili köşe yazılarını okuyabilirsiniz.
