추측 디코딩 — 작은 모델이 초안을 쓰고 큰 모델이 검사한다
추측 디코딩은 작은 초안 모델이 토큰을 제안하고 큰 모델이 병렬로 검증하게 해 생성을 가속하며, 출력 분포를 바꾸지 않고 지연시간을 줄입니다.
아직 만들지 않았습니다
이 페이지는 카드에 적힌 내용을 펼쳐 보여줄 뿐입니다 — 돌아가는 코드도, 열어볼 데모도 아직 없습니다. 무엇을 왜 만들려는지가 아래에 있습니다.
어떻게 보나
아직 범위 미정.
기술 노트
각 항목이 실제로 무엇을 보여주고 어떻게 동작하는지 — 위 카드보다 자세한 기술 설명입니다.
추측 디코딩 — 작은 모델이 초안을 쓰고 큰 모델이 검사한다준비 중
목적: 이 PoC는 같은 프롬프트에서 일반 디코딩과 추측 디코딩을 대조해 지연시간 이득과 초안 모델 일치도에 대한 의존성을 측정합니다.
동작 방식: 아직 만들지 않음.