증류 — 큰 모델을 모방하도록 학습된 작은 모델
증류는 작은 학생을 큰 교사의 출력으로 학습시켜 능력의 상당 부분을 비용의 일부로 담아냅니다 — 프런티어 모델에서 배포 가능한 모델로 가는 표준 경로입니다.
아직 만들지 않았습니다
이 페이지는 카드에 적힌 내용을 펼쳐 보여줄 뿐입니다 — 돌아가는 코드도, 열어볼 데모도 아직 없습니다. 무엇을 왜 만들려는지가 아래에 있습니다.
어떻게 보나
아직 범위 미정.
기술 노트
각 항목이 실제로 무엇을 보여주고 어떻게 동작하는지 — 위 카드보다 자세한 기술 설명입니다.
증류 — 큰 모델을 모방하도록 학습된 작은 모델준비 중
목적: 이 PoC는 좁은 과제에서 더 큰 모델의 출력으로 작은 모델을 증류하고, 유지된 능력 대 절약된 크기를 측정합니다.
동작 방식: 아직 만들지 않음.