Aramanın seçtiği hedef
Deep Principle’ın Hydrogen-1.0 duyurusundaki en ilginç deney, bir soruya doğru yanıt vermekten çok sıradaki denemeyi seçmekle ilgili. Şirket, geçiş metali komplekslerinde iki moleküler enerji düzeyi arasındaki HOMO–LUMO aralığını büyütmeyi hedefliyor. Modeller aynı aday topluluğundan başlıyor ve beş tur boyunca yeni öneriler yapıyor. Bu düzenek, bilimsel çalışma için anlamlı bir soruyu görünür kılıyor: Bir model aldığı sonucu sonraki seçiminde kullanabiliyor mu? Ölçülen başarı, bu tanımlı aramada bulunan elektronik özellik üzerinden okunuyor.[1]
Deep Principle, beşinci turda o ana kadar bulunan en iyi aralığın ortalamasını Hydrogen için yaklaşık 4,32 elektronvolt olarak bildiriyor; karşılaştırdığı GPT-6-Astra için değer 3,69, Kimi-K3 için 3,35. Bunlar geliştiricinin kendi değerlendirme sonuçları. Daha büyük enerji aralığı bu deneyin önceden seçilmiş hedefi. Bir malzemenin üretilebilirliği, kararlılığı veya belirli bir uygulamadaki yararı bu sayının içinde ölçülmüyor. Araştırmacı açısından kazanım, aday aramasını yönlendiren bir işarette; laboratuvar sonucuna ilişkin iddia için sonraki basamaklar ayrı önem taşıyor.[1]
Yollar ayrıldığında karşılaştırma
Başlangıç koşulu ortak olsa da ikinci seçimden itibaren modeller farklı deneyimler biriktiriyor. Her biri yalnızca kendi önerilerinin değerlendirmesini alıyor. Bu, birbirinden bilgi sızmasını önleyen yerinde bir ayrım. Aynı zamanda beşinci turdaki farkın bütün bir arama yolunu içerdiği anlamına geliyor. Daha iyi geri bildirim kullanımı olası açıklamalardan biri. Başlangıçtaki aday seçme eğiliminin modelin daha iyi bildiği kimyasal yapılara yönelmesi de aynı farkı doğurabilir. Karşılaştırma bu iki mekanizmanın katkısını ayırmıyor.[1]
Hydrogen’in eğitiminde yalnızca başarılı sonuçların değil, başarısız denemelerin ve sonraki kararların da tutulması bu ayrımı özellikle ilginç kılıyor. Araştırma kaydı bir yanıt deposundan, seçimlerin sonuçlarına bağlı bir sürece dönüşüyor. Ancak bu süreçlerle eğitimin ne kattığını ayırmak için aynı temel modelin bu eğitim yapılmadan önceki sürümü doğal karşılaştırma noktası. Diğer modellerle yarış, hangi sistemin bu görevde daha iyi arama yaptığını anlatır; keşif kayıtlarının eğitime katkısını ayrı ölçmek daha dar bir karşılaştırma ister.[1]
Çalışan plan, sınanabilir sonuç
Duyurudaki sanal laboratuvar kontrolü de başka bir kanıt katmanında duruyor. Sistem, istasyonun yetenekleriyle işlem sırasının uyumunu ve eylemlerin önkoşullarını denetliyor. Böyle bir kontrol, yürütülemeyen bir planı yakalamak için değerli. Deneyin bilimsel soruya yanıt verip vermediği ise ayrı bir ölçüt. Bir araştırma ekibi için planın çalışması, aranan özelliğin ölçülmesi ve seçilen adayın gerçekten işe yaraması birbirini izleyen, fakat birbirinin yerine geçmeyen sonuçlar.[1]
Bu tasarımın güçlü bir devamı, aynı başlangıç topluluğunu ve aynı değerlendirme bütçesini koruyarak aramayı farklı rastgele başlangıçlarla yinelemek olur. Önceden ayrılmış malzeme aileleri bu sınama için anlamlı; hangi ailede ne ölçüde kazanç bulunduğunun ayrı verilmesi genellemeyi görünür kılar. Deep Principle da farklı hedeflere ve ailelere aktarımı sonraki sorun olarak tanımlıyor. Ağırlıkların indirilebilir olması bağımsız bir ekibe bu sınamayı kurma olanağı veriyor. En yararlı sonraki sonuç, bir başka genel başarı sırasından çok, kazancın hangi arama koşullarında tekrarlandığını gösteren karşılaştırma.[1]