NVIDIA, in collaboration with Tsinghua University, the University of Toronto, and the Vector Institute, has launched Gamma-World, a groundbreaking multi-agent generative world model. This model overcomes previous limitations in virtual environment simulations, which were restricted to single or dual-player interactions, by supporting four-player collaboration at 24 frames per second (FPS). The project page and paper have been released, with plans to open-source the code and weights soon.
Gamma-World introduces innovative mechanisms such as high-dimensional generalization of rotary positional encoding and informational mediator tokens. These advancements allow for independent control of multiple players and enable zero-shot generalization from two-player to four-player scenarios without retraining. The model's Simplex Rotary Agent Encoding extends traditional Rotary Positional Encoding into a high-dimensional angular space, ensuring physical symmetry and eliminating the need for fixed player IDs. Additionally, Sparse Hub Attention reduces computational costs by using learnable hub tokens, maintaining efficiency as the number of players increases. Evaluations demonstrate that Gamma-World significantly enhances video realism, action controllability, and inter-player consistency compared to traditional models.
NVIDIA Unveils Gamma-World Model for Enhanced Multi-Player Simulation
Tuyên bố miễn trừ trách nhiệm: Nội dung được cung cấp trên Phemex News chỉ nhằm mục đích cung cấp thông tin.Chúng tôi không đảm bảo chất lượng, độ chính xác hoặc tính đầy đủ của thông tin có nguồn từ các bài viết của bên thứ ba.Nội dung trên trang này không cấu thành lời khuyên về tài chính hoặc đầu tư.Chúng tôi đặc biệt khuyến khích bạn tự tiến hành nghiên cứu và tham khảo ý kiến của cố vấn tài chính đủ tiêu chuẩn trước khi đưa ra bất kỳ quyết định đầu tư nào.
