RunningTab, eylemci yapay zekânın görev gereksinimlerini, okuduğu dosya parçalarını ve henüz açmadığı dosyaları bağlamının dışında tutuyor. Tamamlanan maddeler okunan içeriğe bağlanıyor; eylemci işi bitirmeye çalışınca açık maddeler yeniden gösteriliyor. Tek ön baskıdaki üç model ve üç test kümesiyle yapılan deneylerde yöntem, doğrudan dosya erişiminden ve modelin kendi hazırladığı yapılacaklar listesinden daha yüksek sonuçlar verdi.
RunningTab, eylemci yapay zekânın okuyup bitirdiği belgeye taşımadığı bilgileri izliyor. Başlangıç incelemesinde modele gösterilen ve görevde beklenen sayısal değerlerin yaklaşık beşte biri, belgenin son halinde yer almadı. Çerçeve, görev listesini modelin sınırlı bağlamının dışında tutuyor. Bulgular, dosyalardan çalışma belgesi üretimini inceleyen tek ön baskıya dayanıyor.[1]
Eylemci gereksinimleri eklerken çalışma ortamı okunan parçaları dosya yolu ve komutuyla saklıyor. Listelenmiş ama açılmamış dosyalar aday olarak tutuluyor. Tamamlanan gereksinim okunan içeriğe atıf, karşılanamayan gereksinim ise bir neden gerektiriyor. Eylemci ilk kez işi bitirmeye çalışınca açık maddeler son kontrol için geri geliyor. Eşleştirmede metinleri ilgili sözcüklere göre sıralayan BM25 yöntemi kullanılıyor.[1]
Üç model ve üç test kümesindeki her düzen üç kez çalıştırıldı. Seçilen eşleşmelerde RunningTab, doğrudan dosya erişiminden, modelin kendi görev listesinden ve son kontrolden daha yüksek puan aldı. Ortamın metin parçalarıyla aday dosyaları saklaması kaldırılınca en büyük düşüş görüldü. Saklanan bazı değerler yine de son belgeye ulaşmadı. Yazarlar, hassas bilgi içerebilen bu parçaların çalışma alanıyla aynı erişim denetimine tabi tutulmasını öneriyor.[1]
