イーロン・マスクのxAIは、GPUの利用率に関して重大な課題に直面しており、現在わずか11％の効率で稼働しています。同社はメンフィスとコロッサスのデータセンターで、H100およびH200モデルを含む約55万台のNVIDIA GPUを管理しています。規模は非常に大きいものの、低い利用率はxAIのAIソフトウェアスタックの非効率性を浮き彫りにしています。 この利用率の低さは、膨大な数のGPU間の調整問題に起因しており、アイドル時間やデータ伝送のボトルネックを引き起こしています。この問題はxAIに特有のものではなく、AI業界全体が大規模インフラの最適化に苦労しています。MetaやGoogleのような企業は40％以上の利用率を達成していますが、xAIはインフラとソフトウェアスタックの強化により効率を50％に向上させることを目指しています。イーロン・マスクはまた、社内でのチップ開発やインテルの技術活用も検討しています。