용량은 모델을 올리고, 대역폭이 모델을 서빙한다
애플 실리콘 로컬 추론을 권하는 글은 **512GB 통합 메모리**와 **200B 파라미터 모델**로 시작합니다. **용량은 무엇을 올릴 수 있는지를 정합니다.** **얼마나 빨리 답하는지를 정하는 것은 메모리 대역폭**이고, 자기회귀 디코딩은 **토큰 하나마다 가중치를 한 번 읽습니다** — 그래서 **상한은 대역폭 ÷ 토큰당 실제로 만지는 바이트**입니다. 그 나눗셈을 해 보면, 글이 나란히 내건 두 약속 — **거대 모델**과 **상시 에이전트** — 이 **같은 기계 위에서 서로 반대로 당긴다**는 것이 드러납니다.
이 페이지는 카드에 적힌 내용을 펼쳐 보여줄 뿐입니다 — 돌아가는 코드도, 열어볼 데모도 아직 없습니다. 무엇을 왜 만들려는지가 아래에 있습니다.
**만드는 일이 아니라 나눗셈 하나와 측정 하나**이고, 둘 다 **무엇을 사기 전에** 할 만큼 쌉니다. 먼저 **상한** — **초당 토큰은 메모리 대역폭 ÷ 토큰당 읽는 바이트**로 묶이고, 그 바이트는 대략 **실제로 활성화되는 파라미터의 양자화 크기**입니다. 세 경우에 대해 해 봅니다 — **30B 밀집 모델 4비트**, **200B 밀집 모델 4비트**, 그리고 **총 크기는 비슷하되 일부만 활성화되는 MoE** — 그러면 **셋째만 인터랙티브하게 남는다**는 것이 보입니다. 그다음 **나눗셈을 믿지 말고 측정**합니다 — **실제로 가진 기계**에서 프롬프트 하나를 돌려 초당 토큰을 적고, **컨텍스트를 채운 뒤 다시** 적습니다. **어텐션 비용은 컨텍스트에 따라 자라고, 에이전트의 컨텍스트는 결코 짧지 않기 때문**입니다. 마지막으로 **분모를 붙여** 값을 매깁니다 — **토큰당 비용 = 하드웨어 ÷ 수명 동안 실제로 생성한 토큰.** 그러면 **가동률이 세부가 아니라 논증 전체**가 됩니다. 하드웨어 수치는 **2026-08-28 에 본 GenAI Works 게시물** 기준입니다 — **899달러 M6 Mac mini(LLM 처리 M1 대비 13.5배 주장)**, **최대 512GB 통합 메모리·1.2 TB/s 의 M5 Ultra Mac Studio** — 그리고 **같은 글이 투자 권유로 끝납니다.** 어느 숫자든 **공개 사양에서 다시 유도한 뒤** 쓰십시오.
기술 노트
각 항목이 실제로 무엇을 보여주고 어떻게 동작하는지 — 위 카드보다 자세한 기술 설명입니다.
목적: **나눗셈이 카드의 전부이고, 누구나 다시 해 볼 수 있는 산수입니다.** 자기회귀 디코딩은 **연산이 아니라 메모리에 묶입니다** — 토큰 하나를 만들려면 **활성 가중치를 메모리에서 읽어야** 하므로, **속도의 상한은 대역폭 ÷ 그 바이트**입니다. **1.2 TB/s** 에서 **4비트로 양자화한 200B 밀집 모델**은 토큰당 대략 **100GB 를 읽는 셈**이고, 이는 **이론 상한으로 초당 10여 토큰**, 실제로는 그보다 낮습니다. **자는 동안 도는 작업에는 충분하고, 에이전트에게는 정말로 괴로운 수치**입니다 — **에이전트는 한 스텝에 많은 토큰을 뱉고, 지연이 스텝마다 누적되기 때문**입니다. **그래서 글의 두 약속 — 이만큼 큰 모델, 그리고 상시 어시스턴트 — 은 기계 두 대 몫의 일을 한 대 위에 올려놓은 것**입니다. 해법은 **구조**입니다 — **MoE 에서는 총 파라미터가 용량 요구를, 활성 파라미터가 속도를 정합니다.** 그래서 **숫자보다 "어떤" 200B 인지가 훨씬 중요합니다.** 그리고 **`sub-2bit-local-llm`** 은 같은 분수에 걸린 다른 지렛대입니다 — **가중치당 비트가 적으면 토큰당 바이트가 적으므로, 양자화는 자리만큼이나 직접적으로 속도를 삽니다.** **경제성 주장은 분모 없이 진술됐습니다.** *"클라우드는 토큰마다 지불, 로컬은 한 번 사고 종일 돌린다"* 는 **가동률이 높을 때만 참**입니다. **토큰당 비용 = 하드웨어 ÷ 수명 동안 실제 생성한 토큰**이니까요. **하루 열아홉 시간 노는 책상은 상자가 아무리 쌌어도 숫자가 나쁩니다.** **그래서 진짜 질문이 바뀝니다 — 로컬이냐 클라우드냐가 아니라, 토큰을 끊임없이 생성하는 작업을 가지고 있느냐입니다.** **에이전트가 그런 최초의 작업**입니다 — **사람이 토큰 하나하나를 기다리지 않고도 토큰이 나옵니다.** 로컬 추론의 셈이 맞아떨어지는 경우가 정확히 그것이고, 글이 에이전트를 지목한 것은 **이유를 생략했을 뿐 옳습니다.** **두 번째 이유는 프라이버시이고 더 강합니다** — **가동률에 전혀 의존하지 않기 때문**입니다. **파일·프롬프트·에이전트 컨텍스트가 기계를 떠나지 않는 것**은 어떤 일이 그냥 갖고 있는 **제약**이고, **제약은 설득으로 물릴 수 있는 최적화가 아닙니다.** **그리고 출처는 각주가 아니라 카드 본문에 있어야 합니다.** 글은 이렇게 끝납니다 — *"우리 라운드가 열려 있습니다. 8월 31일 전까지 1,000달러부터, 최대 22% 보너스 주식."* **모든 수치가 그 수치로 돈을 모으는 쪽에서 제시된 것**입니다. 틀렸다는 뜻이 아니라 **홍보물이라는 뜻**이고, 이 목록의 상시 규칙은 **반복하지 말고 다시 유도하라**입니다. 글이 **인정하고 지나가는 부분**도 보십시오 — **애플이 데이터센터에서 NVIDIA 를 대체하는 것은 아니다.** 주장은 **책상**에 대한 것입니다. **그것은 제약이 다른 진짜로 다른 싸움**이고 — **배치 크기 1, 처리량이 아니라 지연, 탄력적이 아니라 고정된 메모리 예산** — **정직한 버전의 주장은 책상이 애초에 NVIDIA 가 최적화하던 싸움이 아니었다는 것**입니다.
동작 방식: ### 상한을 정하는 나눗셈 **초당 토큰 ≲ 메모리 대역폭 ÷ 토큰당 읽는 바이트.** **1.2 TB/s**, 가중치 **4비트** 기준: | 모델 | 토큰당 활성 바이트 | 이론 상한 | 판정 | | --- | --- | --- | --- | | 30B 밀집 | 약 15 GB | 약 80 tok/s | 여유 있게 인터랙티브 | | **200B 밀집** | **약 100 GB** | **약 12 tok/s** | **배치 작업 전용** | | 총 200B MoE, 활성 약 20B | 약 10 GB | 약 120 tok/s | 인터랙티브 — **크기가 아니라 구조** | **이것은 상한이지 측정값이 아닙니다.** 실제 처리량은 **한참 아래**이고, **컨텍스트가 자랄수록 더 떨어집니다.** ### 용량과 대역폭은 다르게 고장난다 | | 정하는 것 | 고장나는 방식 | | --- | --- | --- | | **통합 메모리 크기** | 애초에 올라가는가 | **단단하게** — 안 올라감 | | **메모리 대역폭** | 얼마나 빨리 답하는가 | **무르게** — 올라가고, 기다림 | **사양표가 앞의 것을 앞세우는 이유는 그 고장이 눈에 보이기 때문**입니다. **같이 살아야 하는 것은 뒤의 것**입니다. ### 토큰당 비용에는 분모가 있다 **하드웨어 ÷ 수명 동안 생성한 토큰.** 세 국면: - **노는 책상** — 하루 몇 천 토큰: **클라우드가 큰 차이로 이깁니다.** - **에이전트가 도는 경우** — 사람이 기다리지 않고 토큰이 나옴: **분모가 커지고 로컬이 이깁니다.** - **프라이버시 제약 작업** — **비교 자체가 성립하지 않습니다.** 한쪽이 **허용되지 않기** 때문입니다. **제약은 최적화가 아닙니다.** ### 글이 인정한 것, 그리고 실제 주장 - 인정: **데이터센터가 아니다.** 주장은 **책상**입니다. - 책상은 **배치 크기 1, 지연에 묶이고, 메모리가 고정** — **더 작은 문제가 아니라 다른 문제**입니다. - 글은 **투자 권유로 끝납니다.** 위의 모든 수치는 **공개 사양에서 다시 유도하기 전까지 홍보물**입니다.