Ein chinesischer KI-Enthusiast, APFrisco, hat erfolgreich Moonshot AIs Kimi K2.5, ein Modell mit einer Billion Parametern, auf einer einzelnen Nvidia RTX 3060 GPU in Kombination mit 768 GB Intel Optane Persistent Memory ausgeführt. Trotz der Mittelklasse-GPU erreichte das Setup etwa vier Tokens pro Sekunde und zeigte damit das Potenzial unkonventioneller Hardware-Konfigurationen.
Kimi K2.5, ein Mixture-of-Experts-Modell, aktiviert pro Token nur 32 Milliarden Parameter, was den Betrieb auf Consumer-Hardware ermöglicht. Die vollständige Modellgröße beträgt etwa 630 GB, quantisierte Versionen sind 381 GB groß, was den Einsatz von Optane-Speicher aufgrund seiner Kosteneffizienz im Vergleich zu herkömmlichem DRAM erforderlich macht. Diese Demonstration unterstreicht die Zugänglichkeit fortschrittlicher KI-Modelle, da Kimi K2.5 Open-Weight ist und Enthusiasten so Experimente mit groß angelegter KI ohne Unternehmensinfrastruktur ermöglicht.
KI-Enthusiast betreibt 1-Billionen-Parameter-Modell auf RTX 3060 mit Optane-Speicher
Haftungsausschluss: Die auf Phemex News bereitgestellten Inhalte dienen nur zu Informationszwecken.Wir garantieren nicht die Qualität, Genauigkeit oder Vollständigkeit der Informationen aus Drittquellen.Die Inhalte auf dieser Seite stellen keine Finanz- oder Anlageberatung dar.Wir empfehlen dringend, eigene Recherchen durchzuführen und einen qualifizierten Finanzberater zu konsultieren, bevor Sie Anlageentscheidungen treffen.