코인베이스 CEO 브라이언 암스트롱은 회사가 전략적 인프라 최적화를 통해 AI 지출을 거의 절반으로 줄이는 데 성공했다고 발표했습니다. 이러한 최적화에는 기본 설정, 라우팅 및 캐싱 메커니즘의 개선이 포함되며, 이는 토큰 사용 급증 속에서 구현되었습니다. 주요 조치로는 GLM 5.2 및 Kimi 2.7과 같은 오픈 소스 및 비용 효율적인 모델을 채택한 것이 있으며, 이 모델들은 사용 한도에 도달하지 않은 직원의 91%에게 충분한 것으로 입증되었습니다. 또한 지능형 라우팅은 이제 작업을 가장 적합한 모델로 자동으로 안내하여 비용과 효율성을 최적화합니다. 회사는 또한 캐싱 전략을 강화하여 캐시 적중률을 크게 높였으며, LibreChat의 경우 5%에서 60%로 개선된 사례가 있습니다. 이러한 노력은 운영을 간소화하고 AI 지출에 대한 가시성을 높이기 위한 광범위한 이니셔티브의 일부입니다.