PrismML đã ra mắt dòng mô hình ngôn ngữ Ternary Bonsai, sử dụng kỹ thuật trọng số ba trị 1,58-bit giúp giảm sử dụng bộ nhớ GPU xuống còn một phần chín so với mô hình 16-bit trong khi vẫn duy trì hiệu suất cao. Dòng sản phẩm này, bao gồm các mô hình với 8 tỷ, 4 tỷ và 1,7 tỷ tham số, hiện đã được mã nguồn mở trên Hugging Face và hỗ trợ thiết bị Apple một cách tự nhiên. Mô hình 1,58-bit giới hạn trọng số mạng nơ-ron ở ba giá trị: {-1, 0, +1}, nâng cao khả năng suy luận bằng cách loại bỏ các kết nối thừa.
Mô hình Ternary Bonsai 8B, với kích thước tệp trọng số chỉ 1,75 GB, đạt điểm chuẩn trung bình là 75,5, vượt trội hơn so với phiên bản 1-bit trước đó và các mô hình dày đặc tương tự về mật độ trí tuệ. Nó cũng cải thiện hiệu quả năng lượng và tốc độ suy luận, đạt 27 token mỗi giây trên iPhone 17 Pro Max với hiệu quả năng lượng tốt hơn từ 3 đến 4 lần. Các mô hình này được phân phối theo giấy phép Apache 2.0, cung cấp cho các nhà phát triển các giải pháp AI hiệu suất cao cho các thiết bị biên.
PrismML Ra Mắt Mô Hình Bonsai Ba Ngôi với Số Tham Số Ít Hơn 9 Lần
Tuyên bố miễn trừ trách nhiệm: Nội dung được cung cấp trên Phemex News chỉ nhằm mục đích cung cấp thông tin.Chúng tôi không đảm bảo chất lượng, độ chính xác hoặc tính đầy đủ của thông tin có nguồn từ các bài viết của bên thứ ba.Nội dung trên trang này không cấu thành lời khuyên về tài chính hoặc đầu tư.Chúng tôi đặc biệt khuyến khích bạn tự tiến hành nghiên cứu và tham khảo ý kiến của cố vấn tài chính đủ tiêu chuẩn trước khi đưa ra bất kỳ quyết định đầu tư nào.
