아마존, 세이지메이커에 LLM 지연시간 줄이는 프리픽스 라우팅 추가

아마존 세이지메이커 추론 서비스가 프롬프트 접두사 기반 라우팅으로 LLM 응답 지연을 최대 77% 줄였다.

Thu Sep 10 2026

아마존웹서비스(AWS)가 대규모언어모델(LLM) 추론 서비스인 Amazon SageMaker Inference에 '프리픽스 인식 라우팅(prefix-aware routing)' 기능을 새로 도입했다. 같은 프롬프트 접두사를 공유하는 요청을 동일한 인스턴스로 보내 KV 캐시를 계속 활성 상태로 유지시키는 라우팅 전략이다.

KV 캐시 재사용으로 응답 속도 개선

LLM 추론 과정에서 모델은 이전에 처리한 토큰들의 키-값(KV) 데이터를 캐시에 저장해 재사용하는데, 요청이 서로 다른 인스턴스로 분산되면 이 캐시가 매번 새로 만들어져 연산 비용이 커진다. AWS는 프리픽스 인식 라우팅을 통해 같은 프롬프트 앞부분을 공유하는 요청들을 한 인스턴스로 몰아줌으로써 캐시 활용도를 끌어올렸다고 설명했다.

벤치마크 결과

AWS가 Llama 3.1 70B 모델로 진행한 벤치마크에서 이 기능은 첫 토큰 생성까지 걸리는 시간(P50 TTFT)을 최대 77% 단축했다. KV 캐시 적중률도 기존 약 25% 수준에서 80% 이상으로 크게 높아진 것으로 나타났다.

의미

초기 응답 지연은 챗봇, 코딩 어시스턴트 등 실시간 상호작용이 중요한 LLM 서비스의 체감 성능을 좌우하는 핵심 요소다. 클라우드 업체들이 추론 인프라 효율화 경쟁을 벌이는 가운데, 이번 업데이트는 모델 자체를 바꾸지 않고 라우팅 전략만으로 지연시간과 연산 비용을 동시에 줄일 수 있음을 보여준다.

*출처: Amazon Web Services (AWS) (2026-09-10)*

Tags: #AI #아마존웹서비스 #클라우드 #LLM