美団、LongCat-2.0兆パラメータモデルを発表
6月30日の報告によると、Meituanは新しい1兆パラメータモデル「LongCat-2.0」を発表し、オープンソース化する予定です。このモデルの事前学習データは30兆トークンを超え、中国語、英語、多言語、コードを含んでいます。LongCatチームは、ハードウェアの故障や通信異常など国内の計算リソースによるトレーニングの課題に対し、安定性、精度、効率を向上させることで対応しました。HCCLの例外処理と自動障害回復により、月間故障率を70%削減しました。さらに、決定論的オペレーターとパラメータチェックによりトレーニングの精度を確保し、主要モジュールの精度とReduceロジックの最適化も行いました。