NVIDIA AI đã mở rộng khung công tác Megatron Core của mình để bao gồm hỗ trợ cho các bộ tối ưu tiên tiến như Muon, cùng với các bộ tối ưu nghiên cứu như MOP và REKLS. Phát triển này nhằm cải thiện hiệu quả trong việc đào tạo các mô hình quy mô lớn, bao gồm cả những mô hình ở quy mô như Kimi K2 và Qwen3 30B. Thông báo nhấn mạnh sự cần thiết của các kỹ thuật vượt ra ngoài các phương pháp song song dữ liệu tiêu chuẩn để đạt được việc đào tạo mô hình hiệu quả. Tuy nhiên, các chỉ số hiệu suất cụ thể hoặc chi tiết triển khai chưa được cung cấp.
NVIDIA Megatron Core tích hợp Muon và các bộ tối ưu tiên tiến
Tuyên bố miễn trừ trách nhiệm: Nội dung được cung cấp trên Phemex News chỉ nhằm mục đích cung cấp thông tin.Chúng tôi không đảm bảo chất lượng, độ chính xác hoặc tính đầy đủ của thông tin có nguồn từ các bài viết của bên thứ ba.Nội dung trên trang này không cấu thành lời khuyên về tài chính hoặc đầu tư.Chúng tôi đặc biệt khuyến khích bạn tự tiến hành nghiên cứu và tham khảo ý kiến của cố vấn tài chính đủ tiêu chuẩn trước khi đưa ra bất kỳ quyết định đầu tư nào.
