PrismML hat den Bonsai 27B vorgestellt, das erste KI-Modell mit 27 Milliarden Parametern, das für den Betrieb auf Consumer-Smartphones entwickelt wurde. Das Modell, komprimiert auf 3,9 GB, läuft mit 11 Tokens pro Sekunde auf einem iPhone 17 Pro Max. Eine ternäre Version, komprimiert auf 5,9 GB, erreicht 26 Tokens pro Sekunde auf einem M5 Pro Laptop. Diese Kompression, basierend auf Caltech-Technologie, reduziert die Modellgewichte auf binäre Werte, wodurch das Modell 14-mal kleiner ist als sein Gegenstück in voller Präzision. Der ternäre Bonsai 27B erzielt im Durchschnitt 80,49 Punkte über 15 Benchmarks und hält dabei 94,6 % der Leistung des vollständigen Modells aufrecht. Unter der Apache 2.0-Lizenz veröffentlicht, befindet sich PrismML in Gesprächen mit Apple, um diese Technologie weiterzuentwickeln.
PrismML stellt Bonsai 27B vor, das erste KI-Modell mit 27 Milliarden Parametern für das iPhone
Haftungsausschluss: Die auf Phemex News bereitgestellten Inhalte dienen nur zu Informationszwecken.Wir garantieren nicht die Qualität, Genauigkeit oder Vollständigkeit der Informationen aus Drittquellen.Die Inhalte auf dieser Seite stellen keine Finanz- oder Anlageberatung dar.Wir empfehlen dringend, eigene Recherchen durchzuführen und einen qualifizierten Finanzberater zu konsultieren, bevor Sie Anlageentscheidungen treffen.