PrismMLは、消費者向けスマートフォンで動作するよう設計された初の270億パラメータを持つAIモデル「Bonsai 27B」を発表しました。このモデルは3.9GBに圧縮され、iPhone 17 Pro Maxで1秒あたり11トークンの速度で動作します。3値版は5.9GBに圧縮され、M5 Proラップトップで1秒あたり26トークンを達成しています。この圧縮技術はCaltechの技術に基づいており、モデルの重みを2値化することで、フル精度モデルの14分の1のサイズに削減しています。3値のBonsai 27Bは、15のベンチマークで平均80.49のスコアを記録し、フルモデルの性能の94.6%を維持しています。Apache 2.0ライセンスの下でリリースされており、PrismMLはこの技術のさらなる開発に向けてAppleと協議中です。
PrismML、iPhone向け初の270億パラメータAIモデル「Bonsai 27B」を発表
免責事項: Phemexニュースで提供されるコンテンツは、あくまで情報提供を目的としたものであり、第三者の記事から取得した情報の正確性・完全性・信頼性について保証するものではありません。本コンテンツは金融または投資の助言を目的としたものではなく、投資に関する最終判断はご自身での調査と、信頼できる専門家への相談を踏まえて行ってください。
