Cerebrasは、企業向けテストで1兆パラメータの大規模モデル「Kimi K2.6」を発表し、長文処理タスクにおいて大幅な速度向上を示しました。12インチのシリコンウェハ上にチップを統合することで、インターコネクトの遅延を排除し、生成速度は1秒あたり981トークンに達し、主流のGPUクラウドサービスの6.7倍の速さを実現しています。
1万トークンの入力と500トークンの出力を含むテストでは、Kimi K2.6は応答時間を163.7秒からわずか5.6秒に短縮し、29倍の改善を達成しました。このモデルのアーキテクチャは、ウェハ上のオンチップネットワークで層間通信を可能にし、NVIDIAのNVLinkの200倍以上の帯域幅を提供します。これに分散コンピューティングの最適化と効率的なデータ処理を組み合わせることで、精度の損失を最小限に抑えつつリアルタイム性能を実現しています。
CerebrasのKimi K2.6モデル、長文タスクで29倍の速度向上を達成
免責事項: Phemexニュースで提供されるコンテンツは、あくまで情報提供を目的としたものであり、第三者の記事から取得した情報の正確性・完全性・信頼性について保証するものではありません。本コンテンツは金融または投資の助言を目的としたものではなく、投資に関する最終判断はご自身での調査と、信頼できる専門家への相談を踏まえて行ってください。
