70%는 열 번 중 세 번은 틀려야 한다

목적: **확률을 뱉는 모델은 정확도로 채점할 수 없고, 그 치환이 실무에서 가장 흔한 조용한 실수입니다.** 정확도·정밀도·재현율·F1 은 전부 **임계값**을 요구합니다 — 어딘가에서 0.63 이 "예"가 되어야 하죠. 그 임계값은 **비용에 대한 결정이지 예측의 속성이 아니고**, 그걸 적용하는 순간 **실제로 포지션 크기를 정한 그 숫자가 버려집니다.** **자기가 답한 질문에서 100% 맞히는 예측자는 실력을 보여준 게 아니라 쉬운 질문만 골랐다는 걸 보여준 것입니다.** **확률의 올바른 채점은 proper scoring rule** 입니다 — **자기 진짜 믿음을 그대로 보고할 때 기대 점수가 최적이 되는** 규칙이죠. 둘만 알면 됩니다. **Brier 점수**는 확률에 대한 평균제곱오차이고, 유계이며, **깔끔하게 분해**됩니다 — 여기서 쓸모 있는 이유가 그 분해입니다. **로그 점수**는 **유일한 local proper rule** 이고, **자신 있게 틀리는 것을 무한히 처벌합니다** — 일어난 일에 0.001 을 줬다면 점수가 발산합니다. 둘 사이의 선택은 **한 번의 대형 오판이 기록 전체를 지배해야 하는가**에 대한 선택이고, 트레이딩 에이전트라면 대개 그래야 합니다. **그다음이 함정이고, 이 카드가 단순히 "캘리브레이션 하세요"가 아닌 이유입니다.** **캘리브레이션만으로는 아무 값어치가 없습니다.** 모든 질문을 무시하고 **항상 기저율만 말하는 예측자는 완벽하게 캘리브레이션됩니다** — 30% 라고 말하면 실제로 30% 일어나니까요 — 그리고 **쓸모가 없습니다.** 한 사건을 다른 사건과 **구별한 적이 없기 때문**입니다. Brier 점수의 Murphy 분해는 두 절반에 각각 이름을 붙입니다: **reliability** 는 말한 확률이 관측 빈도와 맞는가, **resolution** 은 확률을 기저율에서 **옳은 방향으로 밀어내는가**. **resolution 없는 캘리브레이션은 늘 계절 평균을 가리키는 온도계입니다.** 두 숫자가 다 필요하고, **어느 쪽이 없는지는 분해해야만 보입니다.** **그리고 바로 옆에 기준선이 놓여 있는데 대부분의 프로젝트가 안 씁니다.** 예측시장에서 **가격이 곧 확률**입니다 — 다른 모두의 돈으로 만들어진, **정확히 그 질문에 대한, 정확히 결정하는 그 순간의** 확률이죠. 동일 사건에서 에이전트를 시장에 대고 채점하는 데는 **로그 한 칸**이 더 들 뿐이고, 그것이 유일하게 중요한 질문을 정리합니다 — **"이 예측자가 좋은가"가 아니라 "공짜였던 숫자보다 나은가".** `priced-by-the-wrong-thing` 은 도구가 묻는 질문과 다른 질문에 답할 수 있다고 주장하는데, 이건 **같은 규율을 내 출력에 적용한 것**입니다. **마지막으로, 이게 학술적이지 않은 이유.** 켈리 기준의 포지션 크기는 **분류가 아니라 확률 자체의 함수**입니다. 방향은 맞지만 **체계적으로 과신하는** 예측은 **체계적으로 너무 큰 베팅**을 만들고, **적중률은 멀쩡해 보이는 채로 계좌가 죽습니다.** **캘리브레이션 오류는 틀린 답으로 나타나지 않습니다. 틀린 베팅 크기로 나타나고, 그건 다른 실패이며 더 나쁜 실패입니다.**

동작 방식: ### 각 점수가 볼 수 있는 것과 없는 것 | 지표 | 임계값 필요 | 정직을 보상 | 과신을 봄 | 비고 | |---|---|---|---|---| | **정확도 / F1** | **필요** | 아니오 | **못 봄** | 베팅 크기를 정한 **크기 정보를 버림** | | **AUC** | 불필요 | 아니오 | **못 봄** | 순위만 봄. 모든 p 를 p/10 으로 뱉는 모델도 **AUC 가 동일**하고, 쓸 수 없음 | | **Brier** | 불필요 | **예** | 봄 | 유계이고 **reliability + resolution + uncertainty 로 분해** | | **로그 점수** | 불필요 | **예** | **무한히** | local. **자신 있게 한 번 틀리면** 기록 전체를 지배 | **사람들이 걸리는 줄은 AUC 입니다.** 순위 지표는 확률에 **단조 변환을 가해도 불변**이라, **체계적으로 과신하는 모델과 잘 캘리브레이션된 모델이 같은 점수**를 받습니다 — 그런데 **거래할 수 있는 건 한쪽뿐**입니다. ### 분해, 그리고 왜 숫자 하나로는 안 되는가 Brier = **reliability** − **resolution** + **uncertainty**. - **uncertainty** 는 **내가 아니라 질문의 속성**입니다. 기저율 분산이고, **아무 말도 안 했을 때 받는 점수**를 정합니다. - **reliability**(낮을수록 좋음)는 캘리브레이션 항입니다 — 0.7 이라 했을 때 실제로 70% 일어났는가. - **resolution**(높을수록 좋음)은 **실력 항**입니다 — 기저율에서 벗어났는가, 그리고 **옳은 방향으로** 벗어났는가. **늘 기저율만 말하는 예측자는 reliability 완벽, resolution 0** — **쓸모 있기보다 안전하기를 배운 시스템**의 정확한 프로필입니다. 반대 프로필(resolution 높고 reliability 나쁨)은 **확률을 요구받은 LLM 에서 더 흔합니다** — 사건은 잘 구별하는데 **확률을 너무 자신 있게** 말하죠. **두 실패는 정반대 처방이 필요하고**, Brier 숫자 하나로는 **둘 다 알 수 없습니다.** ### 이 프로젝트가 실제로 돌릴 수 있는 형태의 측정 `agent` 카드가 이미 입력을 만들고 있습니다. **결정 한 줄이면 충분합니다:** | 칸 | 어디서 오나 | |---|---| | `p_model` | 에이전트가 실제로 행동의 근거로 삼은 확률 | | `p_market` | **같은 순간** 오더북의 내재확률 | | `outcome` | 결과 확정 후 0 또는 1 | 이 셋에서 신뢰도 다이어그램, 두 Brier 점수, 각각의 분해가 전부 나옵니다. **`p_market` 과의 비교가 실험이고, 나머지는 진단입니다.** 그리고 연구용 측정치로는 드문 성질이 하나 있습니다 — **쉬운 질문을 골라 점수를 올릴 수 없습니다.** 기준선이 **같은 질문을 받기** 때문입니다. 먼저 밝혀둘 단서 하나: 오더북이 주는 것은 **호가 스프레드이지 점 확률이 아니고**, 중간값은 진실이 아니라 **관례**입니다. 얇은 시장에서는 **스프레드가 주장하는 엣지보다 넓을 수 있으므로**, 스프레드도 중간값 옆에 같이 기록해야 합니다 — 안 그러면 **에이전트가 거래한 쪽으로 비교가 조용히 유리해집니다.** ### 왜 Future 섹션인가 이건 예측 기법이 아닙니다. **확률적 출력이라면 무엇이든 필요로 하는 측정 계층**이고, 그런 출력은 늘어나는 중입니다 — 가능성을 묻는 LLM, 파지에 대한 정책의 확신도, 에스컬레이션 여부를 정하는 라우터. `the-harness-not-the-model` 은 모델보다 **그 둘레에 짓는 것**이 중요하다고 주장합니다. **채점은 그 하네스에서 안쪽이 작동하는지를 알려주는 부분**이고, 대개 **아무도 안 만드는 부분**입니다 — 모델이 이미 **답처럼 생긴 숫자**를 돌려주기 때문입니다.