A PrismML lançou o Bonsai 27B, o primeiro modelo de IA com 27 bilhões de parâmetros projetado para operar em smartphones de consumo. O modelo, comprimido para 3,9 GB, funciona a 11 tokens por segundo em um iPhone 17 Pro Max. Uma versão ternária, comprimida para 5,9 GB, alcança 26 tokens por segundo em um laptop M5 Pro. Essa compressão, baseada na tecnologia da Caltech, reduz os pesos do modelo para valores binários, tornando o modelo 14 vezes menor que sua contraparte de precisão total. O Bonsai 27B ternário obtém uma média de 80,49 em 15 benchmarks, mantendo 94,6% do desempenho do modelo completo. Lançado sob a licença Apache 2.0, a PrismML está em negociações com a Apple para desenvolver ainda mais essa tecnologia.
PrismML Lança Bonsai 27B, Primeiro Modelo de IA com 27 Bilhões de Parâmetros para iPhone
Aviso Legal: O conteúdo disponibilizado no Phemex News é apenas para fins informativos. Não garantimos a qualidade, precisão ou integridade das informações provenientes de artigos de terceiros. Este conteúdo não constitui aconselhamento financeiro ou de investimento. Recomendamos fortemente que você realize suas próprias pesquisas e consulte um consultor financeiro qualificado antes de tomar decisões de investimento.
