Alibaba hat seine neueste KI-Modellarchitektur, Qwen3-Next, über seine Tongyi Qianwen-Abteilung vorgestellt. Das neue Modell, Qwen3-Next-80B-A3B, ist Open Source und weist bedeutende Verbesserungen gegenüber der vorherigen Qwen3 MoE-Architektur auf. Zu den wichtigsten Verbesserungen gehören ein hybrider Aufmerksamkeitsmechanismus, eine stark sparsame MoE-Struktur und ein Multi-Token-Vorhersagemechanismus, die alle zu einer effizienteren Inferenz beitragen. Das auf dieser Architektur basierende Qwen3-Next-80B-A3B-Base-Modell verfügt über 80 Milliarden Parameter, aktiviert jedoch nur 3 Milliarden und erreicht eine Leistung, die mit dem Qwen3-32B-Dichtemodell vergleichbar oder besser ist. Bemerkenswert sind die Trainingskosten, die weniger als ein Zehntel der des Qwen3-32B betragen, sowie der Inferenzdurchsatz für Kontexte über 32k, der mehr als zehnmal so hoch ist, was sowohl beim Training als auch bei der Inferenz eine erhebliche Kosteneffizienz bietet.