어텐션 — 그 메커니즘, 그리고 컨텍스트가 제곱으로 비싼 이유
셀프 어텐션은 모든 토큰이 다른 모든 토큰을 저울질하게 하며, 이는 트랜스포머의 힘이자 비용입니다 — 계산이 컨텍스트 길이의 제곱으로 커지고, 긴 컨텍스트가 비싼 이유입니다.
아직 만들지 않았습니다
이 페이지는 카드에 적힌 내용을 펼쳐 보여줄 뿐입니다 — 돌아가는 코드도, 열어볼 데모도 아직 없습니다. 무엇을 왜 만들려는지가 아래에 있습니다.
어떻게 보나
아직 범위 미정.
기술 노트
각 항목이 실제로 무엇을 보여주고 어떻게 동작하는지 — 위 카드보다 자세한 기술 설명입니다.
어텐션 — 그 메커니즘, 그리고 컨텍스트가 제곱으로 비싼 이유준비 중
목적: 이 PoC는 짧은 시퀀스에서 어텐션과 O(n^2) 스케일링을 시각화하여, 이 메커니즘을 컨텍스트 창과 캐싱이 하류에서 중요한 이유로 연결합니다.
동작 방식: 아직 만들지 않음.