A Nous Research tornou open source o Lighthouse Attention, um novo mecanismo de pré-treinamento que acelera significativamente o processamento em GPUs B200. Essa abordagem alcança um aumento de velocidade de 17 vezes ao processar textos com comprimento de 512 mil tokens em comparação com métodos tradicionais. Além disso, oferece uma aceleração de treinamento de 1,4 a 1,7 vezes para sequências de 98 mil tokens. O Lighthouse Attention utiliza um processo em duas etapas, inicialmente escaneando resumos comprimidos do texto para selecionar segmentos-chave, que são então processados usando o FlashAttention. Esse método evita a necessidade de codificação em baixo nível e objetivos adicionais de treinamento, superando as limitações das técnicas anteriores de aceleração. Testes em um modelo com 530 milhões de parâmetros treinado com 50 bilhões de tokens demonstraram redução nos tempos de treinamento, mantendo ou superando o desempenho básico.