Quỹ LightSeek đã giới thiệu Cổng Mô hình Shepherd (SMG) nhằm giải quyết các nút thắt CPU trong dịch vụ mô hình ngôn ngữ lớn (LLM). Ra mắt vào ngày 1 tháng 5, SMG nhằm tối ưu hóa hiệu quả sản xuất bằng cách chuyển các tác vụ không sử dụng GPU sang một cổng dựa trên Rust. Phương pháp này giảm thiểu việc chặn CPU trong quá trình suy luận bằng cách thiết lập các ranh giới gRPC tối thiểu, từ đó nâng cao hiệu suất tổng thể của dịch vụ.