KV 캐시 — 두 번째 토큰이 첫 번째보다 싼 이유
KV 캐시는 어텐션 키와 값을 저장해 새 토큰마다 전체 컨텍스트를 재계산하지 않게 하며, 그래서 프리필은 비싸고 디코딩은 빠릅니다 — 그리고 캐시 가격이 에이전트 경제를 다시 짜는 이유입니다.
아직 만들지 않았습니다
이 페이지는 카드에 적힌 내용을 펼쳐 보여줄 뿐입니다 — 돌아가는 코드도, 열어볼 데모도 아직 없습니다. 무엇을 왜 만들려는지가 아래에 있습니다.
어떻게 보나
아직 범위 미정.
기술 노트
각 항목이 실제로 무엇을 보여주고 어떻게 동작하는지 — 위 카드보다 자세한 기술 설명입니다.
KV 캐시 — 두 번째 토큰이 첫 번째보다 싼 이유준비 중
목적: 이 PoC는 캐시 재사용 유무에 따른 프리필 대 디코드 비용을 측정하여, 이 메커니즘을 긴 컨텍스트 에이전트 청구를 바꾸는 캐시 읽기 가격 인하로 연결합니다.
동작 방식: 아직 만들지 않음.