Alibaba đã giới thiệu kiến trúc mô hình AI mới nhất của mình, Qwen3-Next, thông qua bộ phận Tongyi Qianwen. Mô hình mới, Qwen3-Next-80B-A3B, được mở mã nguồn và có những cải tiến đáng kể so với kiến trúc Qwen3 MoE trước đó. Những cải tiến chính bao gồm cơ chế chú ý lai, cấu trúc MoE rất thưa thớt và cơ chế dự đoán đa token, tất cả đều góp phần vào việc suy luận hiệu quả hơn. Mô hình Qwen3-Next-80B-A3B-Base, xây dựng trên kiến trúc này, có 80 tỷ tham số nhưng chỉ kích hoạt 3 tỷ, đạt hiệu suất tương đương hoặc tốt hơn mô hình Qwen3-32B dày đặc. Đáng chú ý, chi phí đào tạo của nó thấp hơn một phần mười so với Qwen3-32B, và thông lượng suy luận cho các ngữ cảnh trên 32k cao hơn gấp hơn mười lần, mang lại hiệu quả chi phí đáng kể cả trong đào tạo và suy luận.