SemiAnalysisは、大規模モデル推論における「最初のトークン生成までの時間」（TTFT）レイテンシに対する市場の注目に異議を唱える記事を発表しました。報告書は、主な関心事は単なる速度ではなく、単一ユーザーのインタラクション速度と全体のスループット効率のバランスであるべきだと主張しています。SemiAnalysisによると、TTFTはユーザー体験に与える影響は限定的であり、生成フェーズにおけるトークン生成速度の方がより重要であるとしています。分析では、推論タスクのうち真にレイテンシに敏感なのは10%〜20%に過ぎず、ほとんどのシナリオではスループットとコスト効率の最適化がより有益であると示唆しています。