PrismMLは、1.58ビットの三値重み技術を特徴とするTernary Bonsaiシリーズの言語モデルを発表しました。この技術により、GPUメモリ使用量を16ビットモデルの9分の1に削減しながら、高い性能を維持しています。このシリーズには、8B、4B、1.7Bパラメータのモデルが含まれており、現在Hugging Faceでオープンソース化されており、Appleデバイスをネイティブにサポートしています。1.58ビットモデルはニューラルネットワークの重みを{-1, 0, +1}の3つの値に制限し、冗長な接続を排除することで推論能力を向上させています。
Ternary Bonsai 8Bモデルは、重みファイルサイズがわずか1.75GBで、平均ベンチマークスコア75.5を達成し、1ビットの前モデルや同様の密なモデルを知能密度で上回っています。また、エネルギー効率と推論速度も向上しており、iPhone 17 Pro Maxで1秒あたり27トークンを処理し、エネルギー効率は3〜4倍向上しています。これらのモデルはApache 2.0ライセンスの下で配布されており、開発者にエッジデバイス向けの高性能AIソリューションを提供しています。
PrismML、パラメータ数を9分の1に削減した三値ボンサイモデルを発表
免責事項: Phemexニュースで提供されるコンテンツは、あくまで情報提供を目的としたものであり、第三者の記事から取得した情報の正確性・完全性・信頼性について保証するものではありません。本コンテンツは金融または投資の助言を目的としたものではなく、投資に関する最終判断はご自身での調査と、信頼できる専門家への相談を踏まえて行ってください。
