PrismML a lancé le Bonsai 27B, le premier modèle d'IA avec 27 milliards de paramètres conçu pour fonctionner sur des smartphones grand public. Le modèle, compressé à 3,9 Go, fonctionne à 11 tokens par seconde sur un iPhone 17 Pro Max. Une version ternaire, compressée à 5,9 Go, atteint 26 tokens par seconde sur un ordinateur portable M5 Pro. Cette compression, basée sur la technologie Caltech, réduit les poids du modèle à des valeurs binaires, rendant le modèle 14 fois plus petit que son homologue en pleine précision. Le Bonsai 27B ternaire obtient un score moyen de 80,49 sur 15 benchmarks, maintenant 94,6 % des performances du modèle complet. Publié sous licence Apache 2.0, PrismML est en discussions avec Apple pour développer davantage cette technologie.
PrismML dévoile Bonsai 27B, premier modèle d'IA de 27 milliards de paramètres pour iPhone
Avertissement : Le contenu proposé sur Phemex News est à titre informatif uniquement. Nous ne garantissons pas la qualité, l'exactitude ou l'exhaustivité des informations provenant d'articles tiers. Ce contenu ne constitue pas un conseil financier ou d'investissement. Nous vous recommandons vivement d'effectuer vos propres recherches et de consulter un conseiller financier qualifié avant toute décision d'investissement.
