로보틱스로 들어가는 네 입구, 각각이 실제로 사주는 것

목적: **2년 전 "로보틱스를 어떻게 시작하나"의 답은 로봇이었고, 자동차보다 비쌌습니다.** 그다음 $100짜리 팔과 오픈 모방학습 라이브러리가 그 장벽을 없앴습니다. 다음 답은 **생태계**였습니다 — 스택을 받아들이고 워크플로를 따르라 — 그리고 **한 줄로 설치되는 오픈 학습 루프**가 그것마저 없앴습니다. **남은 것은 장벽이 아니라 진짜 선택이고, 그래서 이제 쇼핑 목록이 아니라 결정 규칙이 필요합니다.** **네 선택지는 가격대가 겹치면서 완전히 다른 질문에 답합니다.** $399 Jetson Orin Nano Super 와 $299 Reachy Mini 는 경쟁자처럼 보이지만 아닙니다 — 하나는 **67 TOPS 엣지 연산**을 사서 카메라·서보를 직접 붙이며 ROS 2 배선과 엣지 추론을 배우는 것이고, 다른 하나는 **바로 스크립트가 도는 Python SDK가 딸린 표현형 데스크톱 몸체**를 사서 **휴먼 인 더 루프 상호작용**을 배우는 것입니다. $100~130 SO-101 팔은 **매니퓰레이션**을 삽니다 — 시연 녹화 → 정책 학습 → 자율 재생의 전체 사이클. 빌린 클라우드 GPU는 **모델 자체**를 삽니다 — GR00T N1.7-3B 는 **VRAM 16GB 이상**이 필요하고 Jetson의 8GB로는 네이티브 실행이 안 되기 때문입니다. **가격이 비슷한 것은 우연이고, 그걸 비교로 취급하는 것이 엉뚱한 것을 사는 가장 흔한 경로입니다.** **더 깊은 갈림은 파이프라인이냐 루프냐이고, 가장 오래 생각할 값이 있는 쪽입니다.** Isaac 과 LeRobot 은 네 단계 — 수집·학습·평가·배포 — 를 **하나의 워크플로**로 접습니다. 진짜로 값어치가 있고 **대가가 따릅니다: 스택을 통째로 받아들여야** 합니다. MJX 위의 MuJoCo Playground 는 **반대쪽 끝**입니다 — 설치 한 줄, GPU 한 장, 몇 분 만에 학습되는 정책. 어느 쪽도 낫지 않습니다. **Isaac·LeRobot 은 *로보틱스가 어떻게 출하되는가*에 답하고, Playground 는 *강화학습 루프가 실제로 어떻게 도는가*에 답합니다** — 에이전트, 보상, 개선되는 정책, 그리고 **엉뚱한 것을 잘하게 되는 것을 지켜보는 특유의 실망.** 두 번째는 **읽어서 배워지지 않고**, 연산 30분 거리에 있습니다. **Playground 의 속도가 어디서 오는지는 로보틱스 밖으로 일반화되기 때문에 알아 둘 값이 있습니다.** 통상 병목은 수학이 아니라 **CPU 물리 연산과 GPU 학습 사이의 왕복**이고, 매 스텝마다 지불됩니다. MJX 는 시뮬레이션 **과** 렌더링을 둘 다 GPU에서 돌려 그 왕복을 지웁니다 — 몇 시간이 몇 분이 됩니다. **대부분의 진짜 속도 향상이 그 모양입니다 — 더 빠른 부품이 아니라 경계 하나를 없앤 것.** 대가는 **JAX 종속**이고, 그 생태계가 낯설다면 그 학습 곡선이 **각주가 아니라 실제 입장료**입니다. **한계는 각주가 아니라 카드 본문에 둡니다.** **제로샷 sim-to-real 은 목표이지 보장이 아닙니다** — 루프가 아무리 빨라도 하드웨어 이전은 여전히 별개 문제입니다. **Jetson AGX Thor 개발 키트($3,499~5,499)** 는 NVIDIA가 GR00T를 위해 설계한 실시간 추론 타깃이고, **시작점이 아니라 후반부 구매**입니다. 그리고 하루 저녁에서 실제로 가져올 것은 학습된 정책이 아닙니다 — **그건 이제 쌉니다** — **보상 설계(reward shaping)** 입니다: 에이전트가 **의도한 것이 아니라 요청한 것을 정확히 최적화하는 것**을 지켜보기. 그 실패에는 **어떤 글도 전달하지 못하는 질감**이 있고, `agentic-intent-veto` 가 온체인에서 말하는 **같은 실패 모드**입니다 — **지출 상한은 금액을 제약하지 구매를 제약하지 않고, 보상 함수는 점수를 제약하지 의도를 제약하지 않습니다.**

동작 방식: ### 네 입구, 각각이 답하는 질문 | 입구 | 비용 | 실제로 사는 것 | 답하는 질문 | 묶이는 곳 | |---|---|---|---|---| | **클라우드 GPU 임대 + GR00T** | 시간당 ~$0.3-0.7 | **파운데이션 모델 그 자체** — N1.7-3B 는 **VRAM 16GB+** 필요 | 휴머노이드 파운데이션 모델은 무엇을 하나? | NVIDIA 스택 | | **LeRobot + SO-101 팔** | 키트 **$100-130**, 리더+팔로워 $220-260 | **매니퓰레이션** — 녹화·학습·재생 | 모방학습은 어떻게 루프를 닫나? | Hugging Face 생태계 | | **Reachy Mini** | **$299** | **몸** — 모터 내장, Python SDK 즉시 동작 | 휴먼 인 더 루프 상호작용은 어떤 느낌인가? | Pollen / HF SDK | | **Jetson Orin Nano Super** | **$399** | **연산** — 67 TOPS, 나머지는 직접 붙임 | 엣지 추론은 실제로 어떻게 배포되나? | JetPack, Isaac ROS | | **MuJoCo Playground (MJX)** | 무료 + GPU 한 장 | **학습 루프** — 몇 분 만에 정책 | RL 루프는 실제로 어떻게 도나? | **JAX** | **$299 와 $399 행이 함정입니다.** 한 물건의 두 가격이 아닙니다 — 하나는 **연산 없는 몸**, 다른 하나는 **몸 없는 연산**입니다. Reachy Mini 는 무거운 추론에 **호스트 머신이 필요**하고, Jetson 의 **8GB 공유 메모리로는 GR00T 네이티브 구동이 안 됩니다.** **어느 쪽도 그 자체로 완결된 시스템이 아닙니다.** ### 파이프라인이냐 루프냐 | | Isaac + LeRobot | **MuJoCo Playground (MJX)** | |---|---|---| | **정체** | 수집·학습·평가·배포를 하나의 워크플로로 | **학습 루프 하나** | | **대가** | **생태계를 받아들일 것** | `pip install`, GPU 한 장 | | **답하는 질문** | 로보틱스는 어떻게 출하되는가? | **RL 루프는 실제로 어떻게 도는가?** | | **첫 결과** | 세팅 이후 | **몇 분** | | **sim-to-real** | 문서화된 하드웨어 경로 | 제로샷은 **목표**이지 보장이 아님 | ### MJX 가 왜 빠르고, 왜 그 교훈이 일반화되나 | 단계 | 통상 | MJX | |---|---|---| | 물리 연산 | **CPU** | GPU | | 렌더링 | 혼재 | GPU | | 학습 | GPU | GPU | | **스텝당 비용** | **경계를 넘는 왕복** | **넘을 경계가 없음** | **큰 속도 향상은 대개 더 빠른 부품이 아니라 없앤 경계입니다.** 찾는 방법은 **루프의 어느 줄이 매 반복마다 하드웨어·프로세스 경계를 넘는지** 묻는 것입니다. ### 돈을 낭비하지 않는 순서 1. **시뮬레이션 먼저** — Isaac Lab(오픈소스, 헤드리스 가능) 또는 Hub 데이터셋 위의 LeRobot. **구매 없음**, 그리고 배움의 대부분이 여기 있습니다. 2. **팔 하나 그다음** — SO-101 은 조립 포함 주말 프로젝트입니다: 3D 프린트 프레임 + STS3215 서보 6개, **리더 암을 손으로 움직여 원격조작 시연을 녹화**하고, 그 녹화로 ACT 정책을 파인튜닝하면 **팔로워 암이 스스로 동작을 재현**합니다. 3. **몸이냐 보드냐는 세 번째** — 두 질문 중 어느 쪽이 궁금한지 알게 된 다음. 4. **Jetson AGX Thor 는 마지막**($3,499~5,499), 그리고 **온디바이스 실시간 추론이 진짜 목표일 때만.** 이동형 하드웨어 — Unitree Go2 Air $1,600 / Pro $2,800 — 는 그보다도 뒤입니다. **이 전부를 잇는 결합조직이 LeRobot 입니다** — 스스로를 **로보틱스의 `transformers`** 라 부르고, 데이터셋 표준(`LeRobotDataset`)·사전학습 정책(ACT, Diffusion Policy, π0, GR00T-N 계열)·학습/평가 스크립트를 한 패키지에 담고 있습니다. **NVIDIA가 2026년 7월 GR00T 1.7 을 LeRobot 에 통합**한 것이, $100 팔과 파운데이션 모델이 **두 갈래가 아니라 한 경로**인 이유입니다. ### 어느 입구를 고르든, 하루 저녁에서 가져갈 것 학습된 정책이 아닙니다. **보상 설계 경험** — 에이전트가 **의도한 것이 아니라 요청한 것을 정확히 최적화**하는 것 — 그리고 하드웨어 입구라면, **데이터셋 포맷이 표준화된 뒤 "데이터셋 로드"와 "학습된 정책" 사이가 몇 줄인지**, 그리고 **로봇 에피소드(관측 이미지·관절 상태·액션)가 LLM 개발자가 아는 텍스트 토큰 데이터셋 옆에 놓였을 때 어떻게 생겼는지.** ### 네 번째 문: 정책을 학습시키는 대신 내려받기 (2026-08-28) 위의 세 경로는 전부 **정책을 학습시키는 것**에서 시작합니다. **openpi**(π0 · π0-FAST · π0.5)는 **이미 존재하는 정책**에서 시작합니다 — **1만 시간 이상으로 보고된 조작 데이터로 사전학습된 VLA(비전-언어-액션) 모델**이고, **카메라 프레임 + 자연어 지시**를 받아 **연속 동작 궤적**을 뱉습니다. **LLM 세계를 재편한 사전학습/파인튜닝 구분이 로보틱스에 도착했고**, 이것이 위 셋 중 무엇보다 **진입 비용을 크게 바꿉니다.** 실제로 닿을 수 있는지를 가르는 세부 둘: | 세부 | 왜 중요한가 | | --- | --- | | 비전-언어 백본 위의 **플로우 매칭 액션 헤드** | 동작을 **단계별 분류가 아니라 연속 궤적으로 생성** — 그래서 **물리적으로 부드럽게** 나옵니다 | | 원본은 **JAX**, 그러나 LeRobot 을 통해 **PyTorch 포트** 제공 | **시뮬레이터 경로와의 실질적 차이** — 거기서는 JAX 가 선택이 아닙니다 | **세 경로와 이것을 나란히 놓으면 스택이 3층으로 보입니다 — 데이터·배포 / 학습 / 모델.** **8년차 백엔드 개발자가 채용되는 자리는 1층과 3층**이고, **가운데 층은 연구자의 자리**입니다. 그중 **이 문이 가장 쌉니다** — LLM 에서 익힌 파인튜닝 감각(**데이터 포맷·LoRA·평가 하네스**)이 **거의 그대로 이전**되기 때문입니다. 30분짜리 버전은 **π0 문서를 열어 텐서 형태만 읽는 것**입니다 — **이미지 몇 장, 어떤 지시, 액션 몇 차원인가.** ### 팔을 사기 전에 계산할 숫자 (2026-09-08) 위 SO-101 경로는 시연을 녹화합니다 — 그리고 그 실물 칸의 정직한 진입 비용은 ~$100짜리 팔이 아니라 **정책 하나를 파인튜닝할 만큼 시연을 모으는 시간**입니다. Hugging Face 의 LeRobot 은 SO-100/SO-101 레퍼런스 하드웨어(3D 프린트 부품 + 시판 서보)를 조립·캘리브레이션·리더-팔로워 원격조작 수집 스크립트와 함께 제공해서, 병목이 돈에서 **사람의 반복**으로 옮겨갑니다. '취미냐 프로젝트냐'를 가르는 수치는 **목표 태스크 하나에 대한 시연 ~50회**의 실제 소요 시간입니다: 1회 2분이면 두 시간 미만, 1회 10분이면 꼬박 하루입니다. **실제 태스크에 대해 이 숫자를 사기 전에 계산**하고, 저가 서보의 낮은 반복 정밀도를 태스크 난이도의 상한으로 취급하세요 — 루프를 배우는 데는 시뮬(MuJoCo/MJX)로 충분하니, **팔은 sim-to-real 격차 측정 자체가 목표일 때만** 사는 게 맞습니다.

검토 후 보완: ### 배우기에 안전한 기본값은 남들이 이미 돌려본 것이다 (2026-09-11) MuJoCo/MJX를 더 새로운 엔진들 — 속도를 앞세우는 **Genesis**, 데이터 포맷을 쥔 **LeRobot** — 옆에 놓아도, *배우기*엔 여전히 MuJoCo가 가장 안전한 칸입니다. 가장 빨라서가 아니라 **재현 가능**해서입니다: 같은 씬을 남들도 돌려봤기에 막혔을 때 답이 있습니다. 신생 프로젝트의 진짜 비용은 속도가 아니라 **막혔을 때 물어볼 데가 없는 것**입니다. 그래서 '가장 빠른 새것을 골라라'는 반사는 학습 도구엔 거꾸로입니다 — 배울 땐 병목이 처리량이 아니라 막힘 해소라, 커뮤니티와 재현성이 벤치마크를 이깁니다. **재보기:** 관심 태스크를 MuJoCo 예제로 30분 안에 띄울 수 있나요? 안 되면 문제는 도구가 아니라 태스크 정의입니다. 다른 걸 고를 땐 의도적으로: 대규모 RL이면 **Isaac Lab**, 데이터 수집 루프면 **LeRobot**; **Genesis**는 배우는 기본값이 아니라 '재미로 재보는 칸'으로 두세요.