PrismML ha lanzado el Bonsai 27B, el primer modelo de IA con 27 mil millones de parámetros diseñado para operar en smartphones de consumo. El modelo, comprimido a 3.9 GB, funciona a 11 tokens por segundo en un iPhone 17 Pro Max. Una versión ternaria, comprimida a 5.9 GB, alcanza 26 tokens por segundo en una laptop M5 Pro. Esta compresión, basada en tecnología de Caltech, reduce los pesos del modelo a valores binarios, haciendo que el modelo sea 14 veces más pequeño que su contraparte de precisión completa. El Bonsai 27B ternario obtiene un puntaje promedio de 80.49 en 15 benchmarks, manteniendo el 94.6% del rendimiento del modelo completo. Lanzado bajo la licencia Apache 2.0, PrismML está en conversaciones con Apple para desarrollar aún más esta tecnología.
PrismML presenta Bonsai 27B, el primer modelo de IA con 27 mil millones de parámetros para iPhone
Aviso legal: El contenido de Phemex News es únicamente informativo.No garantizamos la calidad, precisión ni integridad de la información procedente de artículos de terceros.El contenido de esta página no constituye asesoramiento financiero ni de inversión.Le recomendamos encarecidamente que realice su propia investigación y consulte con un asesor financiero cualificado antes de tomar cualquier decisión de inversión.