Elon Musks xAI steht vor erheblichen Herausforderungen bei der GPU-Auslastung, die derzeit nur bei 11 % Effizienz liegt. Das Unternehmen verwaltet etwa 550.000 NVIDIA-GPUs, darunter Modelle der Serien H100 und H200, in seinen Rechenzentren in Memphis und Colossus. Trotz des beeindruckenden Umfangs verdeutlicht die geringe Auslastung Ineffizienzen im KI-Software-Stack von xAI. Die Unterauslastung wird auf Koordinationsprobleme bei der Verwaltung der großen Anzahl von GPUs zurückgeführt, was zu Leerlaufzeiten und Engpässen bei der Datenübertragung führt. Dieses Problem ist nicht einzigartig für xAI, da die KI-Branche allgemein mit der Optimierung groß angelegter Infrastrukturen kämpft. Während Unternehmen wie Meta und Google Auslastungsraten von über 40 % erreichen, strebt xAI an, seine Effizienz durch Verbesserungen der Infrastruktur und des Software-Stacks auf 50 % zu steigern. Elon Musk prüft zudem die Entwicklung eigener Chips und die Nutzung von Intels Technologie, um diese Herausforderungen zu bewältigen.