ProofTrace, matematikte yapay zekâ katkısını yalnızca anlatım biçiminden değil, kanıtların kuruluşundan inceleyen bir yöntem sunuyor. Ön baskı, modelin yeniden yazdığı insan metinleriyle modelin yeniden kurduğu kanıtları da içeren beş grupta 8.281 makaleyi karşılaştırıyor. Sonuçlar arasındaki bağımlılıkları gösteren çizgeler, bu müdahaleleri ayırmaya yardımcı oluyor. Gruplar arasındaki ayrım ise tek bir makalenin kökeni ya da matematiksel doğruluğu hakkında kesin hüküm vermiyor.
Yapay Zekâ··Gece
Kanıtlardaki bağlantılar çizgeye dönüştürülüyor
Matematik kanıtlarının kuruluşunu inceleyen ProofTrace yöntemi, her sonucun hangi önceki sonuçlara dayandığını yönlü çizgelerle gösteriyor. Çizgelerde teoremler, yardımcı önermeler, ara adımlar ve dışarıdan alınan sonuçlar düğüm olarak yer alıyor. Bağlantıların çıkarılmasında dil modeli kullanılıyor ve dayanak metin parçaları saklanıyor. Araştırmacılar bu çizgelerden 342 özellik hesaplıyor; yazım biçimine ilişkin ölçümleri ayrı ele alıyor. Ön baskıda toplam 8.281 makale beş gruba ayrılarak karşılaştırılıyor.[1]
Yeniden yazım ile kanıtı yeniden kurma ayrı sınanıyor
Gruplar; geçmiş insan çalışmalarını, yapay zekâ katkısını açıklayan makaleleri, model kökenli metinleri, yeniden kurulan kanıtları ve insan makalelerinin yeniden yazılmış sürümlerini ayırıyor. Denetimli karşılaştırmada yedi yüz insan makalesinin soruları ve hedefleri kanıtı yeniden kurmak için kullanılıyor. Altı yüz yirmi beş metnin ise yalnızca anlatımı değiştiriliyor. Yazarlar, yeniden yazılan metinlerin kanıt düzenini büyük ölçüde koruduğunu, modelin yeniden kurduğu kanıtlarda farklı yapısal örüntüler görüldüğünü bildiriyor.[1]
Karşılaştırma, kanıt sunumunun yapısını ölçüyor
Çözümlemelerde konu alanı, metin uzunluğu ve çizge büyüklüğü hesaba katılıyor. Yine de grupların seçilmesi ve farklı üretim süreçleri yorumu etkiliyor: katkı açıklayan grup kendi bildirimiyle oluşuyor, tarihsel insan makaleleri başka bir dönemden geliyor. Ölçülen özellik kanıtın sunuluş yapısı; çizgenin çıkarılmasında da hata yapılabiliyor. Gruplar arasındaki farklar, tek bir yazarın model kullanımı veya bir kanıtın matematiksel doğruluğu hakkında kesin yargı sağlamıyor.[1]
