SemiAnalysis ha publicado un artículo que cuestiona el enfoque del mercado en la latencia de "tiempo hasta el primer token" (TTFT) en la inferencia de modelos grandes. El informe sostiene que la preocupación principal no debería ser solo la velocidad, sino el equilibrio entre la rapidez de interacción para un solo usuario y la eficiencia general del rendimiento. Según SemiAnalysis, el TTFT tiene un impacto limitado en la experiencia del usuario, siendo más crítica la velocidad de generación de tokens durante la fase de generación. El análisis sugiere que solo entre el 10 % y el 20 % de las tareas de inferencia son realmente sensibles a la latencia, mientras que la mayoría de los escenarios se benefician más de optimizar el rendimiento y la eficiencia en costos.