OpenAI, az örneği bulunan programlama dilleri için testlerini genişletti
OpenAI, eğitim verisinde daha az örneği bulunan programlama dillerine yönelik yeni değerlendirmeler yayımladı. Çalışma, SQLite davranışının farklı dillerde yeniden üretilmesini ve COBOL yazılımlarının başka dillere taşınmasını kapsıyor. Aynı girdiden aynı sonucun alınması, yalnızca derlenen bir program yazmanın ötesinde önem kazanıyor. Yeni sınamalar, kod üretimiyle eski bir uygulamanın güvenli biçimde taşınması arasındaki ayrımı koruyor.
Yapay Zekâ··Sabah
Az örnekli diller için sınamalar genişliyor
ChatGPT’yi geliştiren OpenAI, eğitim verisinde daha az kod örneği bulunan programlama dilleri için 19 Ekim’de yeni değerlendirmeler yayımladı.[1], [2]
Çalışmanın kapsamı yazılım mühendisliği görevlerini, SQLite davranışının yeniden üretilmesini ve COBOL programlarının başka dillere taşınmasını içeriyor. Az örnek ifadesi, belirli bir dil için eğitim verisinde bulunan kod miktarını anlatıyor. Buradaki kaynak azlığı, yazılımın üzerinde çalıştığı bilgisayarın belleği veya işlem gücü için kullanılmıyor. Modelin o dili öğrenirken yararlanabildiği örneklerin görece seyrek olması söz konusu. Şirketin çalışması, bu dillerde yazılım geliştirmeye ilişkin görevleri ve değerlendirme kapsamını genişletiyor. Üretilen kaynak kodun doğru görünmesinin ötesinde, programın istenen işlemi yapıp yapmadığı da sınamaya giriyor.[1]
SQLite sınaması, üretilen sonucu karşılaştırıyor
Diller arasında değerlendirme yapmak için kullanılan MultiLangBench, bir veritabanı motoru olan SQLite’ın davranışını farklı programlama dillerinde yeniden üretme görevi veriyor. Bir veritabanı dosyası ve yapılandırılmış sorgu dili SQL’de yazılmış sorgu, sınanan programın işleyeceği girdiler arasında yer alıyor. Program çalıştırıldıktan sonra elde edilen sonuç, referans uygulamanın aynı işlemde verdiği sonuçla karşılaştırılabiliyor. Böylece değerlendirme, programın nasıl yazıldığının yanında ne yaptığına da bakıyor. Dillerin sözdizimi birbirinden farklı olsa bile gerçekleştirilmesi istenen işlem üzerinden karşılaştırma yapılabiliyor. Aynı işlemi yapan farklı dil uygulamaları, bu ortak davranışla sınanıyor. Kapsam, gerçek bir uygulamanın bütün gereksinimlerinin karşılandığını onaylamıyor; belirlenmiş görevlerdeki çıktıları karşılaştırmaya yönelik bir değerlendirme sağlıyor.[1]
COBOL geçişinde hesabın anlamı korunmalı
Geçiş çalışmasının bir başka konusu, eski iş yazılımlarında kullanılan COBOL programlama dili. Bir program başka bir dilde yeniden yazıldığında derleyicinin hata vermemesi, eski programın işleyişinin korunduğu anlamına gelmiyor. OpenAI bu yüzden anlamsal eşdeğerliği öne çıkarıyor: aynı girdiler, geçişten sonra da aynı çıktıları üretmeli ve sayısal işlemlerin anlamı korunmalı. Sabit noktalı hesaplarda bir değerin kesilmesiyle yuvarlanması arasındaki fark, görünüşte benzer iki programda farklı sonuçlar doğurabiliyor. Testler bu ayrımı ortaya çıkarmak için kullanılıyor. Kod yazmak, değerlendirme sınamasını geçmek ve bir kurumun üretim uygulamasını taşımak ayrı aşamalar olarak kalıyor. Şirketin karşılaştırmaları kendi değerlendirmelerine dayanıyor. Bu çalışma, bir müşterinin bütün eski uygulamasını güvenle değiştirebileceğini kanıtlamıyor ve ChatGPT içinde bütün programlama dillerini doğrudan çalıştıran yeni bir özellik duyurmuyor.[1]
