LightSeek 재단은 대형 언어 모델(LLM) 서비스에서 CPU 병목 현상을 해결하기 위해 Shepherd Model Gateway(SMG)를 도입했습니다. 5월 1일에 출시된 SMG는 GPU가 아닌 작업을 Rust 기반 게이트웨이로 오프로드하여 생산 효율성을 최적화하는 것을 목표로 합니다. 이 접근 방식은 최소한의 gRPC 경계를 설정하여 추론 과정 중 CPU 차단을 최소화함으로써 전체 서비스 성능을 향상시킵니다.