PrismML a lancé la série Ternary Bonsai de modèles de langage, utilisant une technique de poids ternaires à 1,58 bit qui réduit l'utilisation de la mémoire GPU à un neuvième de celle d'un modèle 16 bits tout en maintenant une haute performance. La série, qui comprend des modèles avec 8 milliards, 4 milliards et 1,7 milliard de paramètres, est désormais open source sur Hugging Face et prend en charge nativement les appareils Apple. Le modèle à 1,58 bit contraint les poids du réseau neuronal à trois valeurs : {-1, 0, +1}, améliorant les capacités de raisonnement en éliminant les connexions redondantes.
Le modèle Ternary Bonsai 8B, avec une taille de fichier de poids de seulement 1,75 Go, atteint un score moyen de benchmark de 75,5, surpassant son prédécesseur à 1 bit et des modèles denses similaires en densité d'intelligence. Il offre également une meilleure efficacité énergétique et une vitesse d'inférence accrue, atteignant 27 tokens par seconde sur l'iPhone 17 Pro Max avec une efficacité énergétique 3 à 4 fois supérieure. Ces modèles sont distribués sous licence Apache 2.0, offrant aux développeurs des solutions d'IA performantes pour les appareils en périphérie.
PrismML dévoile le modèle Ternary Bonsai avec 9 fois moins de paramètres
Avertissement : Le contenu proposé sur Phemex News est à titre informatif uniquement. Nous ne garantissons pas la qualité, l'exactitude ou l'exhaustivité des informations provenant d'articles tiers. Ce contenu ne constitue pas un conseil financier ou d'investissement. Nous vous recommandons vivement d'effectuer vos propres recherches et de consulter un conseiller financier qualifié avant toute décision d'investissement.
