NVIDIA AI hat sein Megatron Core Framework erweitert, um Unterstützung für fortschrittliche Optimierer wie Muon sowie für Forschungsoptimierer wie MOP und REKLS einzuschließen. Diese Entwicklung zielt darauf ab, die Effizienz beim Training groß angelegter Modelle zu verbessern, einschließlich solcher im Maßstab von Kimi K2 und Qwen3 30B. Die Ankündigung hebt hervor, dass Techniken über die standardmäßigen datenparallelen Methoden hinaus erforderlich sind, um ein effizientes Modelltraining zu erreichen. Konkrete Leistungskennzahlen oder Implementierungsdetails wurden jedoch nicht bereitgestellt.