Фонд LightSeek представил Shepherd Model Gateway (SMG) для решения проблем с узкими местами процессора (CPU) в сервисах больших языковых моделей (LLM). Запущенный 1 мая, SMG нацелен на оптимизацию производственной эффективности за счёт передачи задач, не связанных с GPU, шлюзу на базе Rust. Такой подход минимизирует блокировку CPU во время процесса вывода, устанавливая минимальные границы gRPC, что повышает общую производительность сервиса.