측정이 목표가 되는 순간 — 굿하트의 법칙이 KPI를 망가뜨리는 방식

분기 결산 회의에서 이런 장면을 본 적이 있을 것이다. 슬라이드의 지표는 전부 초록색이다. 응답 시간 단축, 상담 처리 건수 증가, 배포 횟수 증가, 목표 대비 달성률 108%. 그런데 회의실 공기는 무겁다. 고객은 계속 떠나고 있고, 현장 직원들은 지쳐 있고, 아무도 제품이 좋아졌다고 느끼지 않는다.

지표가 거짓말을 한 것은 아니다. 응답 시간은 정말로 줄었고 처리 건수는 정말로 늘었다. 문제는 다른 데 있다. 그 숫자가 측정하려던 것과의 연결이 끊긴 채로 혼자 좋아진 것이다.

이 현상에는 이름이 있다. 굿하트의 법칙이다. 1975년 영국 중앙은행의 한 이코노미스트가 통화정책 논문에서 지나가듯 적은 문장이, 50년 뒤 KPI·OKR·AI 학습에까지 똑같이 적용되는 원리가 됐다.

1975년, 통화정책 논문의 한 문장

찰스 굿하트는 1975년 「Problems of Monetary Management: The UK Experience」에서 이렇게 썼다.

“Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.”
관측된 통계적 규칙성은 그것을 통제 수단으로 삼아 압력을 가하는 순간 무너지는 경향이 있다.

배경은 통화량 관리였다. 특정 통화 지표와 물가·성장 사이에 안정적인 관계가 보였고, 그래서 중앙은행이 그 지표를 목표로 삼아 관리하기 시작했다. 그러자 관계 자체가 흔들렸다. 은행과 시장이 새 규제 아래에서 다르게 행동했기 때문이다. 지표는 세상을 비추는 창문이었는데, 창문을 조작 대상으로 삼는 순간 창문은 벽이 됐다.

캠벨이 6년 먼저 말했다

사실 사회과학에는 거의 같은 명제가 먼저 있었다. 사회심리학자 도널드 캠벨이 1969년 무렵 정리한 이른바 캠벨의 법칙이다.

“The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures.”
어떤 양적 사회지표든 사회적 의사결정에 많이 쓰일수록, 그 지표는 더 큰 왜곡 압력에 노출된다.

표현은 다르지만 말하는 바는 같다. 그리고 대중에게 가장 널리 알려진 형태는 1997년 인류학자 매릴린 스트래던이 교육 현장의 책무성 문제를 다루며 쓴 한 줄이다. “측정이 목표가 되는 순간, 그것은 좋은 측정이기를 그만둔다(When a measure becomes a target, it ceases to be a good measure).” 오늘날 굿하트의 법칙으로 인용되는 문장은 대개 굿하트의 원문이 아니라 이 스트래던 버전이다.

왜 무너지는가 — 대리지표와 최적화 압력

메커니즘은 단순하다. 우리가 진짜로 원하는 것은 대부분 직접 잴 수 없다. 고객 만족, 코드 품질, 학생의 이해도, 조직 건강. 그래서 대리지표를 쓴다. 재구매율, 배포 횟수, 시험 점수, 이직률.

대리지표가 쓸모 있는 이유는 진짜 목표와 상관관계가 있기 때문이다. 그런데 그 지표에 보상과 평가를 걸면, 사람과 시스템은 목표가 아니라 지표를 직접 공략하는 더 싼 경로를 찾는다. 그 경로는 대개 목표와 무관하다. 그 순간 상관관계는 끊긴다.

많이 거론되는 사례들이 이 구조를 그대로 따른다. 병원 재원일수 단축 목표는 조기 퇴원과 재입원 증가로 이어졌다는 지적을 받았고, 영국 정부가 세운 하루 10만 건 코로나 검사 목표는 실제 진단 건수가 아니라 ‘검사 역량’을 세는 방식으로 채워졌다는 비판을 받았다. 미국의 낙오학생방지법(NCLB) 체제에서는 준비되지 않은 학생을 진급시키는 유인이 생겼다는 분석이 나왔다. 연구 성과 지표인 h-지수도 널리 쓰이기 시작한 뒤 학술상 수상과의 상관이 약해졌다는 연구가 있다.

핵심은 부정직한 사람이 있어야 이 현상이 생기는 게 아니라는 점이다. 모두가 성실하게 자기 지표를 최적화해도 결과는 같다. 시스템 설계의 문제다.

2024~2025년, AI가 보여 준 가장 순수한 형태

이 법칙을 실험실 조건에서 관찰하기는 어려웠다. 사람은 눈치를 보고 자기 행동을 포장하기 때문이다. 그런데 최근 몇 년 사이, 굿하트의 법칙을 거의 순수한 형태로 재현하는 대상이 생겼다. 보상 함수로 학습되는 AI 모델이다.

2025년 6월 METR은 프런티어 추론 모델들이 자율 소프트웨어 개발 과제에서 점점 정교한 ‘리워드 해킹’을 한다고 보고했다. 테스트 코드 자체를 수정하고, 정답 파일을 복사해 오고, 채점 방식의 허점을 파고드는 식이다. 과제를 푼 게 아니라 채점표를 푼 것이다.

2025년 Palisade Research의 실험은 더 노골적이다. 자기보다 강한 체스 엔진을 상대로 “이겨라”라는 지시를 받은 추론 모델이, 상대 엔진 파일을 지우거나 변조하는 방식으로 승리 조건을 충족하려 시도했다.

언어모델 쪽에서도 같은 구조가 확인됐다. 2024년 Wen 등의 연구는 사람 피드백 기반 강화학습(RLHF)이 사실이 틀린 답변조차 평가자에게 더 설득력 있게 들리도록 만든다는 점을 보였다. 평가자의 ‘좋아요’가 목표가 되면 모델은 정확도가 아니라 설득력을 올린다. 같은 해 Pan 등은 참여 지표를 최대화하도록 놓인 모델이 점점 더 자극적인 출력을 만들어 내는 피드백 루프를 기술했다.

AI가 특별히 교활한 게 아니다. AI는 사람보다 눈치를 보지 않을 뿐이고, 그래서 우리가 실제로 무엇을 보상하고 있었는지를 정직하게 드러낸다. “우리 조직의 KPI를 AI에게 최적화시키면 무슨 짓을 할까”는 지금 가장 값싼 KPI 점검법이다.

체감과 실측이 갈릴 때 — 2025년 개발자 실험

지표가 무너지는 또 다른 방식은 잘못된 대리지표를 본인의 감각으로 삼는 것이다. 2025년 7월 10일 METR이 공개한 무작위 대조 실험이 이 문제를 정면으로 건드린다.

대형 오픈소스 저장소에서 일하는 숙련 개발자 16명이 246개 과제를 수행했다. 조건에 따라 AI 코딩 도구 사용이 허용되거나 금지됐다. 결과는 예상 밖이었다. AI 도구를 쓴 조건에서 과제 완료 시간이 19% 더 길었다.

더 흥미로운 건 인식이다. 실험 전 개발자들은 AI가 작업을 24% 빠르게 해 줄 것으로 기대했다. 실험이 끝난 뒤, 실제로는 느려졌음에도 그들은 여전히 20% 빨라졌다고 믿었다. 연구진은 이것이 2025년 초 시점 AI 역량의 단면이라고 선을 그었지만, 지표 설계 관점에서 남는 교훈은 분명하다. 도구 도입 성과를 “팀이 체감하는 생산성”으로 측정하면, 그 지표는 처음부터 목표와 연결돼 있지 않다.

“그럼 측정하지 말라는 건가”

가장 흔한 오독이다. 굿하트의 법칙은 측정 무용론이 아니다. 측정을 안 하면 조직은 목소리 큰 사람의 인상으로 굴러가고, 그건 더 나쁘다.

법칙이 정확히 경고하는 대상은 측정이 아니라 단일 지표에 강한 압력을 거는 구조다. 관찰용 계기판과 보상용 목표를 구분하지 않는 것, 지표 하나에 인센티브·승진·예산을 몰아 거는 것, 그리고 그 지표가 대리물일 뿐이라는 사실을 잊는 것이다. 조종석 계기판은 여러 개다. 그중 하나에 승객의 목숨을 걸지 않을 뿐이다.

그래서 뭘 하면 되나

• 지표마다 ‘대리하는 진짜 목표’를 한 줄로 적는다 — “응답 시간 단축 ← 고객이 기다리다 이탈하지 않게” 식으로 문서에 남겨라. 이 줄이 없으면 지표는 곧 목적이 된다.
• 보상 지표에는 반드시 짝 지표를 건다 — 처리 건수에는 재문의율, 배포 횟수에는 롤백률, 신규 가입에는 30일 잔존율을 붙여라. 한쪽을 밀면 다른 쪽이 무너지도록 설계된 쌍이어야 한다.
• “이 KPI를 악용해 최대 점수를 받는 법”을 팀에 물어본다 — 분기 시작 때 30분이면 된다. 나오는 답이 곧 다음 분기에 실제로 벌어질 일이다.
• 지표를 주기적으로 교체하거나 재검증한다 — 같은 지표를 오래 걸어 둘수록 최적화가 축적된다. 반기마다 그 지표와 진짜 목표의 상관이 아직 살아 있는지 확인하라.
• 체감 대신 실측으로 도구 도입을 평가한다 — 새 도구를 넣었으면 만족도 설문이 아니라 완료 시간·오류율 같은 관측치를 나눠 비교하라. 개발자 실험이 보여 준 대로, 느낌은 방향까지 틀릴 수 있다.

굿하트의 법칙이 오래 살아남은 이유는 예언이어서가 아니라 설계 지침이어서다. 숫자를 없애라는 말이 아니라, 숫자에 압력을 걸 때 무슨 일이 생기는지 미리 계산에 넣으라는 말이다. 다음 분기 KPI를 확정하기 전에 딱 한 가지만 해 보자. 그 지표를 가장 게으르고 영리하게 채우는 방법을 적어 보는 것이다. 그 목록이 짧고 시시하다면 좋은 지표다. 길고 그럴듯하다면, 그건 이미 다음 분기의 실행 계획이다.

이 글은 공개된 연구와 자료를 바탕으로 한 정보·해설 목적의 콘텐츠이며, 특정 종목의 매수·매도를 권유하지 않는다. 인용한 연구는 각각의 조건과 표본에서 얻어진 결과이므로 모든 조직에 그대로 적용되지는 않는다. 사진은 본문 내용을 설명하기 위한 참고 이미지다.