Meta, mobil cihazlar için optimize edilmiş Uzman Karışımı (MoE) modeli MobileMoE'yi tanıttı ve bu model akıllı telefonlarda önemli performans artışları sağladı. MobileMoE-S, iPhone 16 Pro'nun GPU/MLX arka ucunda yoğun modellere kıyasla giriş işlemlerini 3,8 kata kadar daha hızlı gerçekleştirdi ve benzer bellek kullanımı ile doğruluk seviyesini korudu. Bu gelişme, artan DRAM kapasitesinden yararlanarak ticari akıllı telefonlarda ilk verimli MoE çıkarımını işaret ediyor. MobileMoE modeli, sadece kod çözücüye sahip Transformer mimarisini koruyor ve yoğun ileri beslemeli katmanları MoE katmanlarıyla değiştiriyor. Altı trilyon token üzerinde ön eğitim ve kuantizasyon farkındalıklı eğitim dahil olmak üzere dört aşamalı bir eğitim süreci kullanıyor. Kuantizasyondan sonra performansta hafif düşüşler yaşansa da, MobileMoE rekabetçi kalıyor ve belirli kıyaslamalarda OLMoE-1B-7B gibi diğer modelleri geride bırakıyor. Gelecekteki iyileştirmeler, talimat izleme yeteneklerinin geliştirilmesine ve gerçek dünya girdileri için bellek kullanımının optimize edilmesine odaklanacak.