Nous Research, B200 GPU'larda hesaplamayı önemli ölçüde hızlandıran yeni bir ön eğitim mekanizması olan Lighthouse Attention'ı açık kaynak yaptı. Bu yaklaşım, 512K uzunluğundaki metinleri işlerken geleneksel yöntemlere kıyasla 17 kat hız artışı sağlıyor. Ayrıca, 98K uzunluğundaki diziler için 1,4 ila 1,7 kat eğitim hızlandırması sunuyor. Lighthouse Attention, önce sıkıştırılmış metin özetlerini tarayarak anahtar segmentleri seçen, ardından FlashAttention kullanarak işleyen iki aşamalı bir süreç kullanıyor. Bu yöntem, düşük seviyeli kodlama ve ek eğitim hedeflerine ihtiyaç duymadan önceki hızlandırma tekniklerinin sınırlamalarını aşmayı sağlıyor. 50 milyar token üzerinde eğitilmiş 530 milyon parametreli bir modelde yapılan testler, temel performansı korurken veya aşarken eğitim sürelerinin azaldığını gösterdi.