PrismML выпустила Bonsai 27B — первую ИИ-модель с 27 миллиардами параметров, разработанную для работы на потребительских смартфонах. Модель, сжатая до 3,9 ГБ, работает со скоростью 11 токенов в секунду на iPhone 17 Pro Max. Тернарная версия, сжатая до 5,9 ГБ, достигает 26 токенов в секунду на ноутбуке M5 Pro. Это сжатие, основанное на технологии Caltech, сводит веса модели к бинарным значениям, делая модель в 14 раз меньше по сравнению с её полноточной версией. Тернарный Bonsai 27B набирает в среднем 80,49 баллов по 15 тестам, сохраняя 94,6% производительности полной модели. Выпущенная под лицензией Apache 2.0, PrismML ведёт переговоры с Apple о дальнейшем развитии этой технологии.
PrismML представляет Bonsai 27B — первую модель ИИ с 27 миллиардами параметров для iPhone
Отказ от ответственности: Контент, представленный на сайте Phemex News, предназначен исключительно для информационных целей.Мы не гарантируем качество, точность и полноту информации, полученной из статей третьих лиц.Содержание этой страницы не является финансовым или инвестиционным советом.Мы настоятельно рекомендуем вам провести собственное исследование и проконсультироваться с квалифицированным финансовым консультантом, прежде чем принимать какие-либо инвестиционные решения.
