La LightSeek Foundation a présenté le Shepherd Model Gateway (SMG) pour résoudre les goulets d'étranglement liés au CPU dans les services de grands modèles de langage (LLM). Lancé le 1er mai, le SMG vise à optimiser l'efficacité de la production en déchargeant les tâches ne nécessitant pas de GPU vers une passerelle basée sur Rust. Cette approche minimise le blocage du CPU pendant le processus d'inférence en établissant des limites gRPC minimales, améliorant ainsi la performance globale du service.