NVIDIA AI a étendu son cadre Megatron Core pour inclure le support d'optimiseurs avancés tels que Muon, ainsi que des optimiseurs de recherche comme MOP et REKLS. Cette évolution vise à améliorer l'efficacité de l'entraînement des modèles à grande échelle, y compris ceux de la taille de Kimi K2 et Qwen3 30B. L'annonce souligne la nécessité de techniques allant au-delà des méthodes parallèles de données standard pour parvenir à un entraînement efficace des modèles. Cependant, aucun indicateur de performance spécifique ni détail d'implémentation n'ont été fournis.