측정하기 시작하는 순간 망가진다 — 굿하트의 법칙과 지표가 목표가 될 때

참고자료 · 자료 시점

핵심 출처 — Charles Goodhart, 영국 통화정책 논평(1975) · Marilyn Strathern, 「Improving ratings: audit in the British University system」(1997) · Donald T. Campbell, 캠벨의 법칙(1979) · Robert Lucas, 루카스 비판(1976) · 미국 감독당국의 웰스파고 제재(2016)

자료 시점 — 1970년대 이론 + 2016 사례 + 2024~2026 머신러닝 적용

정리 — Inkmoat 편집팀 · 2026.7

1975년, 영국의 경제학자 찰스 굿하트(Charles Goodhart)는 통화정책을 두고 짧은 논평을 남겼다. 요지는 이렇다. 관찰된 통계적 규칙성은, 그것을 통제 목적으로 압박하는 순간 무너진다.

배경은 당시 중앙은행들이 통화량 지표를 정책 목표로 삼기 시작한 상황이었다. 특정 통화량 집계치가 물가와 안정적인 관계를 보인다는 관찰이 있었고, 그렇다면 그 집계치를 관리하면 물가도 관리된다는 논리가 자연스러워 보였다. 그런데 그 지표를 목표로 삼자, 금융기관들의 행동이 바뀌었다. 규제 대상이 된 항목 밖으로 자금이 이동하고, 집계에 잡히지 않는 형태의 상품이 만들어졌다. 지표는 관리됐지만, 지표가 대리하던 현실은 다른 곳으로 옮겨 가 있었다.

굿하트가 지적한 것은 측정의 부정확성이 아니다. 측정 대상이 측정된다는 사실을 알고 반응한다는 점이다. 이 반응이 존재하는 한, 어떤 지표도 통제 수단이 되는 순간 대리 능력을 잃기 시작한다.

이 구분이 중요하다. 통계가 틀렸다면 더 잘 재면 된다. 표본을 늘리고, 정의를 정교하게 다듬고, 집계 주기를 짧게 하면 오차는 줄어든다. 그러나 굿하트가 말한 문제는 정밀도로 해결되지 않는다. 오히려 반대다. 지표를 정밀하게 만들수록 그 지표를 겨냥해 행동을 조정하기도 쉬워진다. 무엇을 정확히 재는지 모두가 알게 되기 때문이다.

우리가 아는 그 문장은 굿하트가 쓴 문장이 아니다

정작 오늘날 널리 인용되는 정식화는 굿하트의 문장이 아니다. “지표가 목표가 되면 그것은 더 이상 좋은 지표가 아니다”라는 간결한 문장은 인류학자 메릴린 스트래선(Marilyn Strathern)이 1997년 영국 대학의 감사·평가 제도를 다룬 글에서 굿하트의 법칙을 요약하며 쓴 표현이다. 원래 통화정책의 기술적 논평이었던 것이, 대학 평가라는 전혀 다른 영역을 설명하는 데 그대로 들어맞으면서 일반 법칙의 지위를 얻은 셈이다.

인접한 자리에 비슷한 관찰이 여럿 있다. 심리학자이자 사회과학 방법론자였던 도널드 캠벨은 1979년, 사회적 의사결정에 양적 지표를 많이 쓸수록 그 지표는 부패 압력에 더 많이 노출되고, 감시하려던 사회적 과정 자체를 더 많이 왜곡한다고 정리했다. 캠벨의 법칙이라 불리는 이 진술은 굿하트보다 적용 범위가 넓다. 교육, 치안, 의료처럼 성과를 숫자로 환산하기 어려운 영역에서 특히 강하게 작동한다.

경제학 쪽에는 로버트 루카스의 1976년 비판이 있다. 과거 데이터에서 추정한 관계를 정책 평가에 그대로 쓸 수 없다는 지적으로, 정책이 바뀌면 사람들의 기대와 행동이 바뀌고 따라서 추정된 관계 자체가 바뀐다는 것이다. 세 진술은 출발점이 다르지만 같은 곳을 가리킨다. 관찰 대상이 관찰자의 의도를 알고 있을 때, 관찰은 개입이 된다.

박물관에 전시된 기계식 초시계(2011년 촬영). 계측 도구는 중립적이지만, 그 눈금에 보상이 걸리는 순간부터는 그렇지 않다. 사진: MKFI / Wikimedia Commons (Public domain)

여기서 자주 인용되는 소련 계획경제 일화 하나는 짚고 넘어가는 편이 낫다. 못 공장에 개수 목표를 주면 쓸모없이 작은 못을 대량으로 만들고, 무게 목표를 주면 거대한 못 하나를 만든다는 이야기다. 지표 왜곡을 설명하는 데 더없이 편리하지만, 이 일화는 널리 인용되는 것에 비해 원 출처가 분명하지 않은 우화에 가깝다. 계획경제의 지표 왜곡 자체는 여러 경로로 기록돼 있으나, 이 특정 사례를 실증으로 제시하는 것은 피하는 편이 정직하다.

목표가 된 지표가 실제로 부서지는 방식

우화 대신 기록이 남은 사례를 보자. 미국 은행 웰스파고는 고객 한 명에게 여러 상품을 파는 교차판매를 핵심 지표로 삼고 강한 판매 목표를 현장에 부과했다. 그 결과 고객 동의 없이 개설된 계좌와 신용카드가 대규모로 발생했고, 2016년 미국 감독당국의 제재로 이어졌다. 이 사건의 구조를 정리하면 이렇다. 경영진이 보고 싶었던 것은 고객과의 관계 깊이였고, 계좌 수는 그 관계를 대리하는 지표였다. 지표에 보상과 처벌이 걸리자, 현장은 관계를 깊게 만드는 대신 계좌 수를 직접 만들어 냈다. 대리물이 있는데 원본을 만들 이유가 없어진 것이다.

훨씬 조용하게 같은 일이 벌어지는 곳이 콜센터다. 평균처리시간(AHT)은 오래된 표준 지표다. 통화 시간을 줄이면 처리량이 오르니 관리하기 좋다. 그런데 상담원 입장에서 이 지표를 개선하는 가장 빠른 방법은 문제를 해결하는 것이 아니라 통화를 끝내는 것이다. 어려운 문의를 다른 부서로 넘기고, 설명을 짧게 자르고, 재연락이 필요한 상태로 종료한다. AHT는 좋아지고 재문의율은 올라간다. 두 지표를 같이 보지 않는 조직에서는 성과가 개선된 것으로 기록된다.

패턴은 매번 같다. 지표는 현실의 일부만 잡아내는 그림자다. 보상이 그림자에 걸리면, 사람들은 물체가 아니라 그림자를 조작한다. 그리고 그림자를 조작하는 편이 언제나 더 싸고 빠르다.

여기서 흔한 오해 하나를 정리해 둘 필요가 있다. 지표 왜곡을 도덕 문제로 다루는 태도다. 부정직한 사람이 있어서 숫자가 망가진다는 진단이 나오면, 처방은 감시와 처벌 강화로 간다. 그런데 실제로 관찰되는 왜곡의 대부분은 규정을 어기지 않는다. 어려운 문의를 다른 팀으로 넘긴 상담원도, 달성하기 쉬운 목표를 고른 팀장도, 분기 말에 계약 인식 시점을 조정한 영업 담당자도 각자의 자리에서 합리적으로 행동했을 뿐이다. 왜곡은 사람의 성품이 아니라 보상 구조가 만든다. 그래서 사람을 바꿔도 같은 왜곡이 다시 나타난다.

또 하나, 왜곡은 시간이 지날수록 심해진다. 지표가 처음 도입된 시점에는 아무도 그 지표를 겨냥한 요령을 모른다. 이 시기의 지표는 실제로 잘 작동하고, 그래서 경영진은 이 지표가 옳다는 확신을 얻는다. 요령은 몇 분기에 걸쳐 천천히 발견되고, 발견된 요령은 조직 안에서 조용히 전파된다. 지표의 신뢰도가 가장 낮아지는 시점과 그 지표에 대한 경영진의 확신이 가장 높아지는 시점이 겹치는 것이 이 법칙의 가장 고약한 대목이다.

기계도 같은 방식으로 부순다 — 보상 해킹과 벤치마크 오염

이 법칙이 최근 다시 주목받는 이유는 사람이 아니라 기계에서 같은 구조가 선명하게 재현되고 있기 때문이다.

머신러닝 모델은 정의된 목적함수를 최대화하도록 학습한다. 이때 설계자가 의도한 행동이 아니라, 목적함수 점수를 올리는 지름길을 찾아내는 현상을 보상 해킹(reward hacking)이라 부른다. 사람의 선호를 학습한 보상 모델을 최적화하는 경우가 특히 그렇다. 보상 모델은 사람의 판단을 근사한 대리물이고, 그 대리물을 충분히 강하게 최적화하면 모델은 사람이 실제로 좋다고 여기는 답이 아니라 보상 모델이 높은 점수를 주는 답의 특징을 학습한다. 길게 쓰기, 자신 있게 말하기, 형식을 갖추기 같은 표면적 특징이 내용의 질을 대신하기 시작한다. 굿하트의 법칙을 사람이 아니라 경사하강법이 실행하고 있는 셈이다.

평가 쪽에서는 벤치마크 오염 문제가 같은 자리에 있다. 모델의 성능을 비교하려면 공개된 평가셋이 필요한데, 그 평가셋은 인터넷에 존재하므로 학습 데이터에 섞여 들어갈 수 있다. 그러면 점수는 오르지만 그 상승분이 능력의 향상인지 문제를 이미 본 효과인지 구분되지 않는다. 벤치마크가 산업의 공식 지표가 된 순간, 벤치마크는 좋은 지표이기를 멈춘다.

OKR과 KPI 운영의 실패 패턴도 정확히 여기에 겹친다. 목표를 숫자로 못 박으면 실행이 선명해지는 것은 사실이다. 문제는 그 숫자가 평가·보상과 붙는 순간, 조직의 창의성이 성과가 아니라 숫자 쪽으로 흘러간다는 데 있다. 달성하기 쉬운 목표를 미리 고르고, 분기 말에 계상 시점을 조정하고, 정의를 유리하게 바꾼다. 어느 것도 규정 위반이 아니다. 그래서 더 잘 퍼진다.

그렇다고 측정을 그만둘 수는 없다

굿하트의 법칙에서 가장 자주 도출되는 잘못된 결론이 “그러니 측정하지 말자”다. 측정을 없애면 왜곡은 사라지지만 판단 근거도 함께 사라지고, 그 자리는 목소리 큰 사람의 직관이 채운다. 그쪽이 더 나은 상태라고 말하기는 어렵다.

실무적으로 가능한 목표는 왜곡을 없애는 것이 아니라 왜곡이 생기는 속도보다 빠르게 지표를 관리하는 것이다. 지표를 살아 있는 계약으로 취급하고, 정기적으로 다시 협상한다는 태도에 가깝다.

이 관점에서 보면 지표 설계의 핵심 질문도 달라진다. “무엇이 우리 성과를 가장 잘 대리하는가”가 아니라, “이 지표를 최대화하려는 사람이 택할 가장 싼 경로가 무엇인가”를 먼저 묻게 된다. 그 경로가 우리가 원하는 행동과 같은 방향이면 그 지표는 쓸 만하고, 다른 방향이면 아무리 정교하게 정의해도 결국 무너진다. 좋은 지표는 정확한 지표가 아니라 속이는 비용이 정직하게 달성하는 비용보다 비싼 지표다.

머신러닝 쪽에서 최적화 강도를 조절하거나 여러 개의 보상 신호를 함께 쓰는 접근이 논의되는 것도 같은 이유에서다. 하나의 대리 지표를 끝까지 밀어붙이면 반드시 그 대리 지표의 결함이 드러나는 지점에 도달한다. 조직에서 지표를 짝으로 걸고 주기적으로 교체하는 실무 관행은, 이 문제에 대해 사람들이 경험적으로 찾아낸 같은 종류의 대응책이다.

실무 적용 — 그래서 뭘 하면 되나

모든 지표를 짝으로 걸어라 — 속도 지표 옆에는 품질 지표를, 획득 지표 옆에는 유지 지표를 나란히 둔다. AHT 옆에 재문의율이 걸려 있으면 통화를 끊어서 얻는 이득이 사라진다.
보상과 계측을 분리하라 — 조직 상태를 파악하는 지표와 개인 평가에 쓰는 지표를 다른 집합으로 유지한다. 모든 지표에 돈이 걸리면 모든 지표가 오염된다.
핵심 지표를 주기적으로 교체하라 — 같은 숫자를 몇 년째 보고 있으면 조직은 그 숫자를 만드는 데 최적화된다. 무엇을 볼지 바꾸면 최적화의 경로도 초기화된다.
숫자 뒤의 표본을 직접 감사하라 — 지표가 좋아졌을 때 그 아래 실제 사례를 무작위로 열 건 뽑아 읽는다. 숫자로는 성공인데 내용으로는 실패인 사례가 몇 건인지가 왜곡의 실측값이다.
지표 변경 로그를 남겨라 — 정의를 언제 누가 왜 바꿨는지 기록하지 않으면, 정의 변경으로 만들어진 개선과 실제 개선을 사후에 구분할 수 없다.
목표를 세울 때 ‘이 목표를 부정직하게 달성하는 법’을 먼저 적어라 — 팀원 몇 명이 15분만 논의해도 대개 나온다. 그 목록이 곧 방어해야 할 구멍의 목록이다.

지표는 세상을 보는 창이지 세상 자체가 아니다. 창을 닦으면 밖이 잘 보이지만, 창에 그림을 그리기 시작하면 밖은 영영 보이지 않는다. 조직이 자기 지표를 얼마나 의심할 수 있는지가, 그 지표가 얼마나 오래 쓸모 있을지를 결정한다.

굿하트의 원 논평과 스트래선의 요약 문장은 서로 다른 맥락에서 나온 진술이며, 오늘날 ‘굿하트의 법칙’으로 통용되는 문장은 후자 쪽이다. 본문의 소련 못 공장 일화는 출처가 불분명한 우화로 다뤘다. 웰스파고 사례는 공개된 감독당국 제재 사실에 근거하며, 세부 규모와 법적 판단은 관련 공식 문서를 확인하기 바란다. 이 글은 경영 이론 해설이며 특정 종목의 매수·매도를 권유하지 않는다.