메이투안은 6월 30일 보도에 따르면 새로운 조 단위 파라미터 모델인 LongCat-2.0을 출시했으며, 이 모델은 오픈 소스로 공개될 예정입니다. 이 모델의 사전 학습 데이터는 30조 개 이상의 토큰을 포함하며, 중국어, 영어, 다국어 및 코드가 포함되어 있습니다. LongCat 팀은 하드웨어 고장 및 통신 이상과 같은 국내 컴퓨팅 파워 훈련의 문제를 안정성, 정확성 및 효율성을 향상시켜 해결했습니다. 그들은 HCCL 예외 처리 및 자동 장애 복구를 통해 월간 실패율을 70% 감소시키는 성과를 달성했습니다. 또한 결정론적 연산자와 파라미터 검사를 통해 훈련 정확성을 보장하고, 주요 모듈의 정밀도와 Reduce 로직을 최적화했습니다.