LightSeek Vakfı, büyük dil modeli (LLM) hizmetlerindeki CPU darboğazlarını aşmak için Shepherd Model Gateway (SMG) adlı çözümü tanıttı. 1 Mayıs'ta başlatılan SMG, GPU dışı görevleri Rust tabanlı bir geçide aktararak üretim verimliliğini optimize etmeyi hedefliyor. Bu yaklaşım, çıkarım sürecinde CPU engellemesini en aza indirerek minimal gRPC sınırları kurmakta ve böylece genel hizmet performansını artırmaktadır.