Meta представила MobileMoE — модель Mixture of Experts (MoE), оптимизированную для мобильных устройств, которая обеспечивает значительное улучшение производительности на смартфонах. MobileMoE-S показала до 3,8 раза более быструю обработку входных данных на GPU/MLX iPhone 16 Pro по сравнению с плотными моделями, при этом сохраняя сопоставимое использование памяти и точность. Это достижение стало первым эффективным выводом MoE на коммерческих смартфонах, используя увеличенную емкость DRAM. Модель MobileMoE сохраняет архитектуру трансформера только с декодером, заменяя плотные полносвязные слои на MoE-слои. Она использует четырехэтапный процесс обучения, включая предварительное обучение на 6 триллионах токенов и обучение с учетом квантизации. Несмотря на небольшое снижение производительности после квантизации, MobileMoE сохраняет конкурентоспособность, превосходя другие модели, такие как OLMoE-1B-7B, в некоторых тестах. В будущем улучшения будут направлены на совершенствование способности следовать инструкциям и оптимизацию использования памяти для реальных входных данных.