A SemiAnalysis publicou um artigo desafiando o foco do mercado na latência "tempo para o primeiro token" (TTFT) na inferência de grandes modelos. O relatório argumenta que a principal preocupação não deve ser apenas a velocidade, mas o equilíbrio entre a velocidade de interação de um único usuário e a eficiência geral do throughput. Segundo a SemiAnalysis, o TTFT tem um impacto limitado na experiência do usuário, sendo a velocidade de geração de tokens durante a fase de geração mais crítica. A análise sugere que apenas 10% a 20% das tarefas de inferência são realmente sensíveis à latência, enquanto a maioria dos cenários se beneficia mais da otimização do throughput e da eficiência de custos.