Zyphra đã ra mắt ZAYA1-8B-Diffusion-Preview, một mô hình ngôn ngữ khuếch tán đánh dấu bước tiến quan trọng trong hệ sinh thái phần cứng AMD. Mô hình này, một mô hình khuếch tán hỗn hợp chuyên gia (MoE), được phát triển từ một mô hình ngôn ngữ lớn tự hồi quy và tự nhận là mô hình đầu tiên thuộc loại này trong khuôn khổ AMD. Trong khi các nhóm khác đã giới thiệu các mô hình tương tự, ZAYA1 nổi bật nhờ tận dụng kiến trúc khuếch tán để nâng cao hiệu quả kỹ thuật.
Mô hình ZAYA1 giải quyết những hạn chế của các mô hình tự hồi quy truyền thống, vốn bị giới hạn bởi việc tạo token theo trình tự và giới hạn tốc độ vật lý. Bằng cách áp dụng phương pháp TiDAR, ZAYA1 cho phép khử nhiễu song song cho 16 ứng viên token trong một lần xử lý duy nhất, biến các hạn chế về băng thông bộ nhớ thành nút thắt tính toán. Thử nghiệm thực tế cho thấy cơ chế chú ý CCA độc quyền của ZAYA1, kết hợp với bộ lấy mẫu không mất dữ liệu tiêu chuẩn, đạt tốc độ nhận token nhanh hơn 4,6 lần. Tốc độ này tăng lên 7,7 lần với bộ lấy mẫu logit hỗn hợp, giảm đáng kể chi phí cho các tác vụ suy luận quy mô lớn đòi hỏi độ trễ thấp.
Zyphra Ra Mắt Mô Hình Ngôn Ngữ Khuếch Tán Dựa Trên AMD với Tăng Tốc 7,7 Lần
Tuyên bố miễn trừ trách nhiệm: Nội dung được cung cấp trên Phemex News chỉ nhằm mục đích cung cấp thông tin.Chúng tôi không đảm bảo chất lượng, độ chính xác hoặc tính đầy đủ của thông tin có nguồn từ các bài viết của bên thứ ba.Nội dung trên trang này không cấu thành lời khuyên về tài chính hoặc đầu tư.Chúng tôi đặc biệt khuyến khích bạn tự tiến hành nghiên cứu và tham khảo ý kiến của cố vấn tài chính đủ tiêu chuẩn trước khi đưa ra bất kỳ quyết định đầu tư nào.
