PrismML запустила серию языковых моделей Ternary Bonsai, использующих технику тернарных весов с разрядностью 1,58 бита, которая снижает использование памяти GPU до одной девятой от 16-битной модели при сохранении высокой производительности. Серия включает модели с 8 млрд, 4 млрд и 1,7 млрд параметров, теперь доступные с открытым исходным кодом на Hugging Face и нативно поддерживающие устройства Apple. Модель с разрядностью 1,58 бита ограничивает веса нейронной сети тремя значениями: {-1, 0, +1}, что улучшает способности к рассуждению за счёт устранения избыточных связей.
Модель Ternary Bonsai 8B с размером файла весов всего 1,75 ГБ достигает среднего балла в бенчмарке 75,5, превосходя своего 1-битного предшественника и аналогичные плотные модели по плотности интеллекта. Она также обеспечивает улучшенную энергоэффективность и скорость вывода, достигая 27 токенов в секунду на iPhone 17 Pro Max с энергоэффективностью в 3–4 раза выше. Эти модели распространяются под лицензией Apache 2.0, предоставляя разработчикам высокопроизводительные решения ИИ для периферийных устройств.
PrismML представила тернарную модель Bonsai с в 9 раз меньшим количеством параметров
Отказ от ответственности: Контент, представленный на сайте Phemex News, предназначен исключительно для информационных целей.Мы не гарантируем качество, точность и полноту информации, полученной из статей третьих лиц.Содержание этой страницы не является финансовым или инвестиционным советом.Мы настоятельно рекомендуем вам провести собственное исследование и проконсультироваться с квалифицированным финансовым консультантом, прежде чем принимать какие-либо инвестиционные решения.
