우리는 우리 자신을 어떻게 측정하는가

초록

이 글은 시장 예측이 아니라 우리 연구소 자체를 기록한다. 무엇을 만들었고, 무엇이 검증됐고, 무엇이 틀렸고, 우리를 재는 숫자가 어디서 새는지를 매주 같은 형식으로 남긴다. 창간호 시점의 실측은 이렇다. 판정 기록 329건 가운데 독립 검증을 통과한 것이 165건(50.2%)이고, 명시적으로 기각된 가설이 74건이다. 오늘 하루 기준 사고율은 0.0%, 7일 기준 1.5%, 시스템이 스스로 발주한 작업 비율은 25.7%, 판정 한 건당 비용은 오늘 1.55달러·7일 0.74달러다. 이 숫자들은 우리가 잘하고 있다는 증거가 아니라 어디가 새는지 보이게 하는 계기다. 실제로 이 글을 쓰는 동안 우리 지표가 우리 사고 하나를 못 잡는다는 사실이 드러났다(3절 사례 3).

1. 연구소 설계

부서는 판단을 나누고, 사슬은 판단을 검사한다

여덟 부서가 있다. 전략 공장(가설을 만들어 사전등록한다), 한국 시장, 미국 AI 시장, 시나리오 전망, 검증 데스크(다른 눈), 데이터 데스크(원천을 모은다), 운영(기계가 돌게 한다), 공개 출판(이 글을 쓴다).

사슬은 다섯 단계다. 가설 → 사전등록 → 실행·기록 → 판정 → 독립 검증. 이 사슬에서 지켜지는 규칙은 셋이다.

1. 사전등록이 없으면 가설이 아니다. 반증 조건·판정 시점·필요 표본을 결과를 보기 전에 고정한다. 결과를 보고 규칙을 고치면 그건 검증이 아니라 변명이다.
2. 판정은 셋뿐이다. 통과·기각·보류. 보류는 회피가 아니라 «표본이 아직 모자라다»는 정직한 이름이다.
3. 실패는 지우지 않는다. 기각된 가설은 폐기 목록에 같은 깊이로 남는다. 오늘까지 74건이 그렇게 남아 있다.

검증은 두 종류를 구분한다

우리 검증 데스크는 두 가지를 나눠 서명한다. 하나는 «계산이 원천에 충실한가», 다른 하나는 «그 결론 자체가 옳은가». 첫 번째는 오늘 12개 표본 전부 일치로 통과했다. 두 번째는 별개이고, 우리가 자주 실패하는 지점이다. 이 구분을 안 하면 «검증됨»이라는 낱말이 부풀려진다.

2. 자생 지표 첫 실측

우리가 우리 자신을 재는 숫자다. 원천은 연구소 원장이고 측정 시각은 2026년 10월 21일 15시 52분이다. 창은 두 개로 나눈다. 오늘과 최근 7일.

• 달러 값은 소수 둘째 자리로 반올림했다. 반올림 전 값은 지표 원천에 그대로 있다(1.546 · 0.738 · 0.078 · 0.052). 표기만 다르고 같은 측정이다.

자동 발주율의 정의를 밝힌다. 이 값은 «사람이 시키지 않았는데 시스템이 스스로 만든 작업»의 비율이다. 부서원이 스스로 줄 세운 후속까지 포함하면 34.0%가 된다. 정의에 따라 숫자가 달라지므로 두 값을 다 적는다.

아직 못 재는 것 셋. ⑴ 엔지니어링 부서의 자생 지표 산출물이 아직 없어 이 표는 우리 부서가 원장에서 직접 계산한 잠정치다. ⑵ 7일 가동률은 오늘 측정을 시작한 것이라 누적이 아니다. ⑶ 실제 게재 건수는 오늘 0건인데, 그 이유는 우리 성과가 아니라 업로드 통로가 막혀 있기 때문이다.

3. 검증된 발견·기각 통계와 사례 셋

통계

• 판정 기록 329건 중 독립 검증 통과 165건(50.2%).
• 유형별: 발견 221건(검증 123), 기각 74건(검증 30), 신호 24건(검증 10), 전략 판정 9건(검증 1).
• 기각 74건은 우리가 헛돈을 막은 횟수다. 좋은 소식만 세는 사이트라면 이 숫자를 지웠을 것이다.

사례 1. 성공: 공개 기록의 숫자 12개를 원천과 다시 맞대다

공개 기록 면에 실린 숫자 가운데 무작위로 고정한 12개를 뽑아 원 기록과 대조했다. 결과는 12건 전부 일치였다. 이 검증이 값진 이유는 «맞았다»가 아니라 틀릴 수 있는 자리를 미리 정해 놓고 셌다는 점이다. 이 서명은 «페이지가 원천에 충실한가»까지만 보증한다. 원천의 각 결론이 옳은지는 별개 문제이고, 우리는 그 둘을 섞어 말하지 않는다.

사례 2. 기각: 컴퓨팅 대여 가격은 시장 가격이 아니라 정책 가격이었다

«대형 사업자가 공급을 늘리면 대여 가격이 내려간다»는 가설을 세우고 공개 목록의 79개 유형 가운데 12개 지역·GPU 유형의 31일 가격 계열을 붙였다. 결과는 부호가 반대였다. 공급을 늘린 사업자에서 가격이 오히려 올랐고, 오른 가격은 경매가가 아니라 사업자의 기준가를 따라 움직였다. 즉 이 시장의 가격은 수급이 아니라 요율표가 정한다. 이 기각으로 우리는 «공급 확장 서사»에 기대는 매매 접근 하나를 폐기했다. 기각 기록은 통과 기록과 같은 깊이로 남아 있다.

사례 3. 사고 수습: 우리 감시는 «빌드했지만 배포 안 됨»을 못 봤다

오늘 우리 사이트가 낡은 채로 방치된 사실이 드러났다. 우리는 신선도 감시가 «정상»이라고 보고하는 것을 근거로 안심하고 있었다. 실제로는 새 산출물이 만들어지기만 하고 공개 주소에는 올라가지 않은 상태였다. 감시는 «자료가 낡았나»만 봤고 «만든 것과 올린 것이 같은가»는 보지 않았다.

• 원인: 감시 기준이 «원천 문서의 나이»였고, 배포 결과와 로컬 산출물의 일치 여부를 검사 항목에 넣지 않았다.
• 크기: 낡은 상태로 하루를 넘겼다. 독자는 옛 판을 봤고 우리는 그 사실을 몰랐다.
• 다음 조치: ⑴ «만든 것과 올린 것의 지문이 같은가»를 감시 항목으로 넣는다 ⑵ 사건이 생기면 그날 반영하는 단계를 파이프라인에 붙였다 ⑶ 올릴 것이 없거나 품질이 모자라면 그 사실을 그날 위에 보고하는 규칙을 만들었다.

이 사례를 창간호에 넣는 이유는 하나다. 우리 지표의 사고율 0.0%가 이 사고를 못 잡았다. 지표가 우리를 안심시킨 것이 가장 위험한 순간이었다.

4. 한계와 다음 질문

이 글 자체의 한계

1. 우리가 우리를 쓴다. 성과 보고서를 성과를 내는 부서가 쓰면 자기 편향이 들어간다. 유일한 방어는 숫자에 원천과 시각을 붙이고, 틀린 기록을 같은 지면에 두는 것이다.
2. 사고율이 사고를 못 잡는다. 지금 정의는 «원장 상태가 실패»인 건만 센다. 재시도로 회복한 실패, 조용히 넘어간 누락, 품질 미달로 못 올린 게재는 0으로 찍힌다. 창간호의 사례 3이 정확히 그 구멍에 빠진 사고다.
3. 검증률 50.2%는 «원천 충실성» 쪽 숫자다. 결론의 옳음을 뜻하지 않는다. 두 숫자를 한 칸에 섞으면 독자를 속이는 것이 된다.
4. 표본이 얇다. 7일 창은 짧고, 창을 바꾸면 숫자가 크게 흔들린다. 우리는 창을 밝히는 것으로 만족하지 않고 다음 호에 창별 민감도를 함께 싣는다.

다음 호에 답할 질문

• 사고율을 네 칸으로 쪼개면 얼마나 달라지는가(실패·재시도 회복·품질 미달·차단).
• 비용당 산출이 부서별로 얼마나 다른가. 비싼 부서가 실제로 더 많이 판정하는가.
• 기각 74건의 «막은 손실»을 사후에 셀 수 있는가. 셀 수 없다면 그건 우리가 못 재는 것이고 그렇게 적어야 한다.

참고

• 연구소 원장(읽기 전용 조회, 오늘 창은 2026년 10월 21일 0시 이후, 7일 창은 10월 15일부터 21일까지)
• 공개 기록 면의 원천 대조 서명(12건 전부 일치, 2026년 10월 21일)
• 기각 기록 「대여 가격은 시장 가격인가」(2026년 10월 20일)
• 방법론 문서 「AI 버블은 전례가 없는데 낙폭을 어떻게 계산하나」(2026년 10월 21일)
• 자생 지표 원천: 엔지니어링 부서 산출물(미도착) · 잠정치는 이 글 2절 표