La technologie de l'IA a atteint une étape importante grâce aux avancées dans la compression et la quantification des modèles, réalisant jusqu'à une augmentation de 10 fois de la vitesse d'inférence CPU et une réduction de la taille des modèles, selon l'article DartQuant publié en novembre 2025. Ces percées permettent à l'IA d'entreprise de se développer plus efficacement sans ressources informatiques substantielles, tout en maintenant une perte d'exactitude minimale. L'IA en périphérie a également connu une révolution de la vitesse, avec une inférence sur appareil désormais capable de traiter plus de 100 tokens par seconde pour le préremplissage et jusqu'à 70 tokens par seconde pour le décodage sur des appareils mobiles commerciaux, selon les benchmarks de 2024-2025. Ce développement apporte des capacités d'IA de niveau entreprise aux appareils mobiles. De plus, la synergie entre le matériel et le logiciel, incluant Dynamo et TensorRT-LLM de NVIDIA, ainsi que les unités de traitement neuronal, a permis à des modèles comme Llama et Nemotron d'atteindre des vitesses d'inférence 2,1 à 3,0 fois plus rapides tout en réduisant les besoins en ressources, comme rapporté par NVIDIA et Red Hat en 2025.