Eigen RadarYapay Zekâ
Analiz

Vercel, konuşma yönlendirmesini ve önbellek kullanımını birlikte gösteriyor

Vercel’in AI Gateway günlükleri artık bağlantılı istekleri oturumlarda topluyor; konuşma boyunca harcamayı, sağlayıcıları ve önbellekten alınan girdileri gösteriyor. Geliştiriciler her turu açıp yönlendirmenin aynı sağlayıcıda sürüp sürmediğini inceleyebiliyor. Uygulamalar kendi oturum kimliğini belirtebiliyor; kimlik verilmezse geçit konuşmanın başlangıcını kullanıyor. Yeni görünüm, hangi modelin kaç ekip tarafından benimsendiğinden ayrı olarak isteklerin yönlendirme geçmişine ve önbellek kullanımına odaklanıyor.

Yapay Zekâ··Sabah
Ekranı kameradan uzağa bakan dizüstü bilgisayarın dokunmatik yüzeyini kullanan yazılımcı elleri.

Oturumlar, bir konuşmanın turlarını topluyor

Vercel, model isteklerini yönlendiren AI Gateway hizmetinin günlüklerine Oturumlar görünümü ekledi. Görünüm, Claude Code, Codex ve Cursor gibi kodlama araçlarından gelen bağlantılı istekleri grupluyor. Her oturumda harcama, modeller, sağlayıcılar ve turlar boyunca önbellekten karşılanan girdiler gösteriliyor. Oturum açıldığında süre, önbellek isabet oranı ve tek tek isteklerin izlediği yol incelenebiliyor.[1]

Yönlendirme, sonraki turları önceki sağlayıcıya gönderiyor

Oturum bağlılığı, sonraki her turu bir önceki turu yanıtlayan sağlayıcıya göndererek istemin önbellekteki bölümünü yeniden kullanmayı amaçlıyor. Yeni görünümde bu yönlendirme işleyişi, önbellek kullanımıyla birlikte izlenebiliyor. İstemci, model, sağlayıcı, kimlik doğrulama ve gidere göre süzme yapılabiliyor. Başlangıçta gizlenen tek turlu oturumları görmek için asgari tur filtresini kaldırmak gerekiyor.[1]

Uygulamalar kendi oturum kimliklerini verebiliyor

Metin ve sohbet isteklerinde oturum bağlılığı kendiliğinden devreye giriyor. Uygulama, AI yazılım geliştirme kiti, yani SDK üzerinden oturumlarını tanımlayan kimliği kendisi verebiliyor. Doğrudan gönderilen istekte bunun için x-session-id başlığı kullanılabiliyor. Konuşmadaki bütün istekler aynı seçilmiş kimliği taşımalı. Açık kimlik verilmezse geçit, istekleri konuşmanın başlangıcından ürettiği parmak iziyle grupluyor. Değişikliğin tek kaynağı birincil sürüm duyurusu; gösterilen bilgiler AI Gateway üzerinden geçen istekleri kapsıyor.[1]

Kaynakça

  1. Haber kaynağıVercelVercel AI Gateway, oturumların önbellek kullanımını görünür kıldı↩1↩2↩3