Zhipu AI ha identificado y resuelto dos errores críticos en sus modelos de la serie GLM-5 utilizados en escenarios de Agentes de Codificación. Estos problemas, que incluían texto distorsionado y repeticiones, fueron reportados por los usuarios desde marzo y ocurrían bajo alta concurrencia y con contextos de gran longitud. El primer error involucraba una condición de carrera en la arquitectura de separación PD, donde la memoria se liberaba prematuramente, lo que provocaba sobrescrituras de datos. El segundo error se encontró en el sistema HiCache, donde la descarga asíncrona de caché carecía de sincronización, causando lecturas prematuras de datos. Las correcciones han reducido significativamente las tasas de anomalías y eliminado ciertos errores. Además, Zhipu descubrió que la métrica de tasa de aceptación para el muestreo especulativo podría servir como una señal de detección de anomalías, permitiendo la monitorización en tiempo real y reintentos automáticos cuando se detectan problemas. Optimizaciones adicionales en la caché LayerSplit KV han mejorado el rendimiento hasta en un 132% para solicitudes con longitudes entre 40K y 120K tokens, mejorando el desempeño a medida que aumenta la longitud del contexto.