Sınama kümesinin sorduğu soru
Bir kimya veri kümesindeki bileşikleri rastgele ikiye ayırmak, bir modelin daha önce görmediği kimyayı ne kadar iyi kestirdiği sorusuna her zaman yanıt vermez. Birbirine çok benzeyen yapılar iki tarafa da düşebilir. Google’ın Antigravity için sunduğu yeni becerilerde bu soruya somut bir karşılık var: temel kimyasal yapıya göre ayırma. Gösterimde 4 deneysel ölçüm için modeller karşılaştırılırken bu ayrım kullanılıyor. Sınama kümesi hazırlanırken verilen bu karar, hangi becerinin ölçüleceğini de belirliyor.[1]
Temel yapı, molekülün ortak iskeletini anlatıyor. Aynı ailedeki yakın örnekleri ayırarak elde edilen başarı, yeni ailelere geçişteki başarıdan farklı bir soruyu yanıtlar. Antigravity’nin kullandığı ayrım, ikinci soruyu incelemeye yöneliyor. Tarih bilgisi bulunduğunda eski bileşiklerle eğitim, yenilerle sınama da yapılabiliyor. Bunlar iki ayrı sınama düzeni: biri yapısal uzaklığı, diğeri zaman içinde karşılaşılacak yeni veriyi öne çıkarıyor. Araştırmacının hangi kullanım için model seçtiği, bu sonuçlardan hangisine ağırlık vereceğini değiştiriyor.[1]
Çizimdeki verinin kaynağına dönmek
Bu değerlendirmeden önce uzun bir veri hazırlığı var. Google’ın örneği, bilinen akciğer kanseri tedavileri çevresindeki kaynaklardan bileşikleri ve ölçümleri topluyor. İlgisiz verileri ayıklıyor, kaynağı saklıyor ve araştırmacıya tek tek bileşiklerin verilerini inceleyebileceği bir görüntüleyici sunuyor. Dil modeli bu akışı yönetirken, RDKit gibi araçlar tanımlı hesaplamaları yapıyor. Buradaki görev ayrımı, hatanın nerede aranacağını değiştiriyor: yanlış eşleştirilmiş bir ölçüm, doğru çalışan bir hesaplama aracından geçip ikna edici bir çizime dönüşebilir. Hesabın tutarlılığı ve ölçümün doğru bileşikle eşleştirilmesi ayrı ayrı incelenmeli.[1]
Kaynak izinin tutulması bu yüzden değerli. Araştırmacı bir toplu örüntünün hangi bileşiklerden oluştuğunu görebiliyor; bileşiğin üst verisine ve ölçümüne geri dönebiliyor. Ancak aynı iz, farklı laboratuvarlarda elde edilmiş ölçümleri kendiliğinden karşılaştırılabilir hale getirmiyor. Google da az veriyi, laboratuvarlar arası ölçüm gürültüsünü ve dar ölçüm aralıklarını kestirim duyarlığını sınırlayan etkenler arasında sayıyor. Daha çok veriyi tek yerde toplamak ile bu verilerin aynı deneysel soruya yanıt vermesi arasında açıklanması gereken bir bağ var. Etkileşimli arayüz, bu bağı araştırmayı kolaylaştırıyor.[1]
Bilinen örüntüden yeni aileye
Gösterimin bilinen bir tedavi alanından başlaması da yorumun kapsamını belirliyor. Yerleşik kaynaklarda belgelenmiş bir örüntüyü yeniden bulmak, veri düzenleme zincirinin işleyişi hakkında bilgi verir. Bu başarı için iki olası açıklama birlikte tutulmalı: araçlar yararlı bir ilişkiyi yakalamış olabilir; seçilen veri kümesi zaten çok iyi belgelenmiş ve birbirine yakın örnekler içeriyor olabilir. Yeni bir kimyasal ailede aynı kestirim gücünün sürmesi ayrı bir sınama gerektirir. Temel yapıya göre ayırma, bu iki açıklamayı incelemeye uygun bir karşılaştırma kuruyor.[1]
Benim bu gösterimden çıkardığım en somut yöntemsel kazanç, araştırmacının veri seçimini ve sınama ayrımını aynı çalışma akışında görebilmesi. Bir sonraki anlamlı değerlendirme, daha önce ayrılmış yapısal ailelerdeki kestirimleri, aynı koşullarda elde edilen deneysel ölçümlerle karşılaştırır. Verilerin hangi gerekçeyle dışarıda bırakıldığı ve model seçiminin hangi veriye bakılarak yapıldığı da korunur. Böyle bir düzen, hızlı veri düzenlemenin sağladığı yararı yeni örneklere genellemeden ayırabilir. Google’ın da belirttiği gibi, bilgisayarda üretilen tasarımlar deneyle sınanacak varsayımlar olarak kalıyor.[1]