MIT, Princeton, Together AI ve Meta'dan araştırmacılar, Transformer model eğitiminin optimizasyonuna yönelik yeni bir programlama soyutlaması olan CODA'yı tanıttılar. "CODA: Transformer Bloklarını GEMM-Epilog Programları Olarak Yeniden Yazmak" başlıklı çalışma, Transformer eğitimindeki zaman alıcı ve bellek yoğun işlemleri GEMM-epilog programlaması kullanarak azaltmaya odaklanıyor. Bu yaklaşım, matris çarpımı sonuçlarının hala çip içi kayıtlarında olduğu kısa pencere sırasında ek hesaplamaların yapılmasına olanak tanıyarak gereksiz bellek transferlerini önlüyor. CODA'nın çerçevesi, epilogda beş bileştirilebilir temel işlemi ortaya koyarak, dikkat dışındaki hemen hemen tüm işlemlerin Transformer'ın ileri ve geri geçişlerinde verimli bir şekilde yürütülmesini sağlıyor. Çalışma, CODA'nın geri yayılımda 1,8 kata kadar hızlanma ve tam Transformer katmanı işleme sürecinde %5 ila %20 hızlanma sağladığını göstererek önemli performans iyileştirmelerini ortaya koyuyor. Bu gelişme, yapay zeka modellerinin iyi tasarlanmış programlama soyutlamaları aracılığıyla kendi eğitim altyapılarını optimize etme potansiyelini vurguluyor.