SemiAnalysis a publié un article remettant en question l'attention portée par le marché à la latence "temps jusqu'au premier jeton" (TTFT) dans l'inférence des grands modèles. Le rapport soutient que la préoccupation principale ne devrait pas être uniquement la vitesse, mais l'équilibre entre la rapidité d'interaction pour un utilisateur unique et l'efficacité globale du débit. Selon SemiAnalysis, le TTFT a un impact limité sur l'expérience utilisateur, la vitesse de génération des jetons durant la phase de génération étant plus critique. L'analyse suggère que seulement 10 % à 20 % des tâches d'inférence sont véritablement sensibles à la latence, tandis que la plupart des scénarios bénéficient davantage de l'optimisation du débit et de la rentabilité.