알리바바는 통이 첸원 부서를 통해 최신 AI 모델 아키텍처인 Qwen3-Next를 발표했습니다. 새 모델인 Qwen3-Next-80B-A3B는 오픈 소스로 제공되며 이전 Qwen3 MoE 아키텍처에 비해 상당한 개선을 자랑합니다. 주요 향상점으로는 하이브리드 어텐션 메커니즘, 매우 희소한 MoE 구조, 다중 토큰 예측 메커니즘이 포함되어 있어 보다 효율적인 추론에 기여합니다. 이 아키텍처를 기반으로 한 Qwen3-Next-80B-A3B-Base 모델은 800억 개의 파라미터를 갖추고 있지만 그중 30억 개만 활성화하여 Qwen3-32B 밀집 모델과 동등하거나 더 나은 성능을 달성합니다. 특히, 훈련 비용은 Qwen3-32B의 10분의 1 미만이며, 32k 이상의 컨텍스트에 대한 추론 처리량은 10배 이상으로, 훈련과 추론 모두에서 상당한 비용 효율성을 제공합니다.