Alibaba представила свою последнюю архитектуру модели ИИ, Qwen3-Next, через подразделение Tongyi Qianwen. Новая модель, Qwen3-Next-80B-A3B, является открытой и демонстрирует значительные улучшения по сравнению с предыдущей архитектурой Qwen3 MoE. Ключевые улучшения включают гибридный механизм внимания, высокоразреженную структуру MoE и механизм предсказания нескольких токенов, что в совокупности способствует более эффективному выводу. Модель Qwen3-Next-80B-A3B-Base, построенная на этой архитектуре, содержит 80 миллиардов параметров, но активирует только 3 миллиарда, достигая производительности на уровне или выше, чем у плотной модели Qwen3-32B. Примечательно, что затраты на обучение составляют менее одной десятой от затрат на Qwen3-32B, а пропускная способность вывода для контекстов свыше 32k более чем в десять раз выше, что обеспечивает значительную экономическую эффективность как при обучении, так и при выводе.