アリババは、同社の統一千文部門を通じて最新のAIモデルアーキテクチャ「Qwen3-Next」を発表しました。新モデル「Qwen3-Next-80B-A3B」はオープンソースであり、従来のQwen3 MoEアーキテクチャに比べて大幅な改良が施されています。主な改良点には、ハイブリッドアテンション機構、高度にスパース化されたMoE構造、そしてマルチトークン予測機構が含まれており、これらがより効率的な推論に寄与しています。 このアーキテクチャに基づくQwen3-Next-80B-A3B-Baseモデルは、800億のパラメータを持ちながらも、3億のみを活性化し、Qwen3-32Bの密なモデルと同等かそれ以上の性能を達成しています。特に、トレーニングコストはQwen3-32Bの十分の一未満であり、32kを超えるコンテキストにおける推論スループットは10倍以上で、トレーニングと推論の両面で大幅なコスト効率を提供しています。