La Fundación LightSeek ha presentado el Shepherd Model Gateway (SMG) para abordar los cuellos de botella de la CPU en los servicios de modelos de lenguaje grande (LLM). Lanzado el 1 de mayo, el SMG tiene como objetivo optimizar la eficiencia de producción al descargar las tareas que no requieren GPU a una pasarela basada en Rust. Este enfoque minimiza el bloqueo de la CPU durante el proceso de inferencia al establecer límites mínimos de gRPC, mejorando así el rendimiento general del servicio.
La Fundación LightSeek Presenta Shepherd Model Gateway para Mejorar la Eficiencia de los LLM
Aviso legal: El contenido de Phemex News es únicamente informativo.No garantizamos la calidad, precisión ni integridad de la información procedente de artículos de terceros.El contenido de esta página no constituye asesoramiento financiero ni de inversión.Le recomendamos encarecidamente que realice su propia investigación y consulte con un asesor financiero cualificado antes de tomar cualquier decisión de inversión.