양자화 — 큰 모델을 작은 메모리에서 돌리기
양자화는 가중치를 더 낮은 정밀도(8비트, 4비트)로 저장해 큰 모델이 소박한 하드웨어에 들어가게 하며, 측정 가능한 정확도 하락을 큰 메모리·속도 이득과 맞바꿉니다.
아직 만들지 않았습니다
이 페이지는 카드에 적힌 내용을 펼쳐 보여줄 뿐입니다 — 돌아가는 코드도, 열어볼 데모도 아직 없습니다. 무엇을 왜 만들려는지가 아래에 있습니다.
어떻게 보나
아직 범위 미정.
기술 노트
각 항목이 실제로 무엇을 보여주고 어떻게 동작하는지 — 위 카드보다 자세한 기술 설명입니다.
양자화 — 큰 모델을 작은 메모리에서 돌리기준비 중
목적: 이 PoC는 한 모델을 여러 비트 폭으로 돌려 정확도 대 메모리 곡선을 측정합니다 — 로컬 추론이 가능한지 결정하는 숫자입니다.
동작 방식: 아직 만들지 않음.