PrismML은 1.58비트 삼진 가중치 기술을 특징으로 하는 Ternary Bonsai 시리즈 언어 모델을 출시했습니다. 이 기술은 16비트 모델 대비 GPU 메모리 사용량을 9분의 1로 줄이면서도 높은 성능을 유지합니다. 8B, 4B, 1.7B 파라미터 모델을 포함하는 이 시리즈는 현재 Hugging Face에서 오픈 소스로 공개되어 있으며, Apple 기기를 네이티브로 지원합니다. 1.58비트 모델은 신경망 가중치를 세 가지 값 {-1, 0, +1}으로 제한하여 중복 연결을 제거함으로써 추론 능력을 향상시킵니다.
Ternary Bonsai 8B 모델은 가중치 파일 크기가 단 1.75GB에 불과하며, 평균 벤치마크 점수 75.5를 기록해 1비트 이전 모델과 유사한 밀도의 모델들을 능가하는 지능 밀도를 보여줍니다. 또한 에너지 효율성과 추론 속도도 개선되어 iPhone 17 Pro Max에서 초당 27토큰을 처리하며 에너지 효율은 3~4배 향상되었습니다. 이 모델들은 Apache 2.0 라이선스 하에 배포되어 개발자들에게 엣지 디바이스용 고성능 AI 솔루션을 제공합니다.
PrismML, 매개변수 9배 감소한 3진 보나사이 모델 공개
면책 조항: Phemex 뉴스에서 제공하는 콘텐츠는 정보 제공 목적으로만 제공됩니다. 제3자 기사에서 출처를 얻은 정보의 품질, 정확성 또는 완전성을 보장하지 않습니다.이 페이지의 콘텐츠는 재무 또는 투자 조언이 아닙니다.투자 결정을 내리기 전에 반드시 스스로 조사하고 자격을 갖춘 재무 전문가와 상담하시기 바랍니다.
