CoRAL, aynı anda birden fazla çözüm yolu öneren difüzyon tabanlı dil modelini, planı seçip son yanıtı yazan daha büyük bir modelle birleştiriyor. Yeni ön baskı bu görev paylaşımını görüntü betimleme ve planlama işlerinde sınıyor. Deneyler İngilizce metinler ve sabit görüntülerle yürütülüyor. İki aşamalı yapı, ek karmaşıklığı ve gecikmeyi de beraberinde getiriyor.
CoRAL, görüntü ve dil görevlerinde iki metin üretim yöntemini birleştiren bir araştırma mimarisi. ArXiv'deki ön baskıda planlama görevi, aynı anda birden fazla olası çözüm yolu geliştiren difüzyon tabanlı dil modeline veriliyor. Metni sırayla üreten daha büyük model, önerileri değerlendirip bir plan seçiyor ve son yanıtı kuruyor. Böylece aynı işlem dizisinde iki model farklı görevler üstleniyor. Mimari, tek bir ön baskıda açıklanıyor.[1]
Araştırmacılar, planlayıcıyı önerilerin oluştuğu gürültü giderme süreci boyunca sonuca verilen ödüllerle eğitiyor. Bu yöntemi yalnızca maskelenmiş sözcük birimlerini tahmin etmeye dayanan eğitimle karşılaştırıyorlar. Görüntü betimleme ve daha karmaşık planlama görevlerinde kalite ile hesaplama verimliliği ölçülüyor. Ek deneylerde ödül yönlendirmesi çıkarılıyor, bileşenler tek başlarına kullanılıyor veya modellerin rolleri ters çevriliyor. Yazarların deneylerinde bütün düzenek, tek başına çalışan bileşenlerden daha yüksek sonuçlar verdi.[1]
İki aşamalı tasarım, tek modelli karşılaştırmalara göre ek karmaşıklık ve gecikme getiriyor. Veri kümeleri İngilizce; çok dilli ve az kaynaklı dillerdeki görevler incelenmiş değil. Görsel girdi olarak yalnızca sabit görüntüler kullanılıyor. Değerlendirmeye video ya da sürekli akan çoklu ortam verileri katılmıyor. Kuramsal inceleme de belirli kaynak koşulları altında paralel üretimi ele alıyor. Bu koşullardaki ifade gücüne ilişkin sonuç, belirli bir donanımda yürütülen uygulamalı görevlerin hızından ayrı bir bulgu olarak sunuluyor.[1]
