LightSeek財団は、大規模言語モデル（LLM）サービスにおけるCPUのボトルネックを解消するために、Shepherd Model Gateway（SMG）を導入しました。5月1日に開始されたSMGは、GPUを使用しないタスクをRustベースのゲートウェイにオフロードすることで、生産効率の最適化を目指しています。このアプローチは、推論プロセス中のCPUのブロッキングを最小限に抑えるために、最小限のgRPC境界を確立し、全体的なサービス性能を向上させます。