NVIDIA AI ha ampliado su marco Megatron Core para incluir soporte para optimizadores avanzados como Muon, junto con optimizadores de investigación como MOP y REKLS. Este desarrollo tiene como objetivo mejorar la eficiencia en el entrenamiento de modelos a gran escala, incluyendo aquellos del tamaño de Kimi K2 y Qwen3 30B. El anuncio destaca la necesidad de técnicas más allá de los métodos estándar de paralelismo de datos para lograr un entrenamiento eficiente de modelos. Sin embargo, no se han proporcionado métricas específicas de rendimiento ni detalles de implementación.
Núcleo Megatron de NVIDIA integra Muon y optimizadores avanzados
Aviso legal: El contenido de Phemex News es únicamente informativo.No garantizamos la calidad, precisión ni integridad de la información procedente de artículos de terceros.El contenido de esta página no constituye asesoramiento financiero ni de inversión.Le recomendamos encarecidamente que realice su propia investigación y consulte con un asesor financiero cualificado antes de tomar cualquier decisión de inversión.