Perplexity AI đã công khai mã nguồn của pplx-garden, một bộ công cụ suy luận hiệu suất cao được thiết kế để nâng cao hoạt động đa GPU. Trung tâm của bản phát hành này là fabric-lib, một thư viện giao tiếp dựa trên Rust, bỏ qua các giao thức độc quyền của NVIDIA, cho phép các nhà phát triển chạy các mô hình có hàng nghìn tỷ tham số một cách hiệu quả trên các cụm GPU đa dạng mà không cần phụ thuộc vào phần cứng đắt tiền. Sáng kiến này hỗ trợ cả NVIDIA ConnectX-7 và AWS EFA Ethernet NICs, đạt được băng thông mạng lên đến 400 Gbps.
Bộ công cụ giới thiệu cơ chế đồng bộ ImmCounter để truyền dữ liệu hiệu quả và bao gồm một thuật toán phân phối dữ liệu được tối ưu hóa cho các mô hình Mixture-of-Experts. Trong các ứng dụng thực tế, pplx-garden giảm đáng kể độ trễ trong quá trình suy luận và huấn luyện, hoàn thành đồng bộ trọng số chỉ trong 1,3 giây. Ngoài ra, bộ mã hóa pplx-unigram được công khai mã nguồn giảm mức sử dụng CPU lên đến sáu lần, giải quyết hiệu quả các nút thắt trong quá trình phân tách từ.
Perplexity AI Mở Mã Nguồn pplx-garden cho Phân Tích Nhanh Đa GPU
Tuyên bố miễn trừ trách nhiệm: Nội dung được cung cấp trên Phemex News chỉ nhằm mục đích cung cấp thông tin.Chúng tôi không đảm bảo chất lượng, độ chính xác hoặc tính đầy đủ của thông tin có nguồn từ các bài viết của bên thứ ba.Nội dung trên trang này không cấu thành lời khuyên về tài chính hoặc đầu tư.Chúng tôi đặc biệt khuyến khích bạn tự tiến hành nghiên cứu và tham khảo ý kiến của cố vấn tài chính đủ tiêu chuẩn trước khi đưa ra bất kỳ quyết định đầu tư nào.
