A LightSeek Foundation lançou o Shepherd Model Gateway (SMG) para enfrentar os gargalos de CPU em serviços de grandes modelos de linguagem (LLM). Lançado em 1º de maio, o SMG tem como objetivo otimizar a eficiência da produção ao descarregar tarefas que não envolvem GPU para um gateway baseado em Rust. Essa abordagem minimiza o bloqueio da CPU durante o processo de inferência ao estabelecer limites mínimos de gRPC, melhorando assim o desempenho geral do serviço.