SemiAnalysis는 대형 모델 추론에서 "첫 토큰까지 시간"(TTFT) 지연에 대한 시장의 집중을 비판하는 기사를 발표했습니다. 이 보고서는 주요 관심사가 단순한 속도가 아니라 단일 사용자 상호작용 속도와 전체 처리량 효율성 간의 균형이어야 한다고 주장합니다. SemiAnalysis에 따르면 TTFT는 사용자 경험에 미치는 영향이 제한적이며, 생성 단계에서의 토큰 생성 속도가 더 중요하다고 합니다. 분석에 따르면 추론 작업의 10%~20%만이 실제로 지연에 민감하며, 대부분의 시나리오는 처리량과 비용 효율성 최적화에서 더 큰 이익을 얻는다고 합니다.