호손 공장의 전설을 원자료로 다시 열었다 — 관찰하면 정말 좋아지는가

공장에 조명을 밝혔더니 생산량이 올랐다. 그래서 다시 어둡게 했더니 — 생산량이 또 올랐다.

경영학 강의에서 가장 자주 인용되는 이야기 중 하나다. 결론은 늘 같은 문장으로 정리된다. “사람은 관찰당하면 더 잘한다.” 이것을 호손 효과라고 부른다.

그런데 이 이야기에는 오래 알려지지 않은 사정이 하나 있었다. 정작 그 조명 실험의 원자료를 아무도 갖고 있지 않았다. 인용은 계속됐지만 대조할 원본이 없는 상태로 반세기가 지났다.

실제로 무엇을 한 실험이었나

무대는 시카고 교외 시서로에 있던 웨스턴일렉트릭의 호손 공장이다. 전화 계전기와 케이블을 만들던 대규모 사업장이었고, 1920년대 중반부터 1930년대 초까지 여러 갈래의 실험이 진행됐다.

첫 갈래가 조명 실험이다. 1924년 말부터 몇 해에 걸쳐 작업장의 밝기를 올리고 내리면서 생산량이 어떻게 변하는지를 봤다. 원래 의도는 소박했다. 조명 회사와 산업계가 “밝게 하면 더 많이 만든다”는 것을 보이고 싶어 했다.

두 번째 갈래가 더 유명한 계전기 조립 시험실이다. 여직공 다섯 명을 별도의 방으로 옮겨 놓고 휴식 시간, 근무 시간, 간식 제공 같은 조건을 바꿔가며 몇 해 동안 관찰했다. 조건을 어떻게 바꾸든 생산량이 대체로 우상향했다는 것이 널리 알려진 결과다.

이 두 갈래가 뒤섞여 하나의 교훈으로 압축됐다. 조건이 아니라 관심이 사람을 움직인다.

이름은 실험이 끝나고 25년 뒤에 붙었다

여기서 짚어야 할 것이 있다. 「호손 효과」라는 용어는 실험자들이 붙인 것이 아니다. 이 이름은 1958년 랜즈버거가 호손 연구를 되짚으면서 쓴 것이고, 그 뒤에 교과서로 퍼졌다.

정리 과정에서 이야기는 계속 매끄러워졌다. 원래 보고서인 뢰슬리스버거·딕슨의 『Management and the Worker』(1939)는 조건과 결과를 길게 나열한 문헌이지 한 문장짜리 법칙을 주장한 책이 아니다. 압축은 대개 원본이 아니라 인용자가 한다.

1991년 길레스피의 연구는 여기에 다른 결을 더했다. 계전기 조립 시험실에서 작업자 두 명이 도중에 교체됐다는 사실이 기록에 남아 있다는 점이다. 실험 기간 내내 같은 다섯 명을 관찰한 결과라고 읽으면 어긋나는 대목이다.

원자료가 다시 열렸다

2011년, 레빗과 리스트가 사라진 것으로 알려져 있던 조명 실험의 원자료를 기록보관소에서 찾아내 다시 분석했다. 이들이 확인한 것 중 실무에 가장 중요한 것은 데이터가 아니라 실험 설계의 습관 쪽이었다.

• 조명 변경은 대체로 일요일에 이뤄졌다. 그리고 생산량은 주 초에 오르고 주 후반에 처지는 자연스러운 주간 리듬을 갖고 있었다. 「조명을 바꿨더니 다음 날 올랐다」의 상당 부분이 이 리듬과 겹친다.
• 조명을 조작한 기간과 그렇지 않은 기간을 갈라 보면, 조작한 기간에 생산량이 더 오르는 경향은 있었다. 다만 그 크기는 교과서가 말해온 극적인 수준이 아니었다.
• 어둡게 해도 계속 올랐다는 식의 깔끔한 반전은 원자료로는 그대로 재현되지 않는다.

즉 결론은 “호손 효과는 없었다”가 아니다. “있다고 말해온 방식대로는 없었다” 쪽에 가깝다.

이 사건이 남기는 진짜 교훈

가장 값진 부분은 심리학이 아니라 검증의 구조에 있다.

이 이야기는 90년 가까이 인용됐다. 인용될수록 더 확실해 보였다. 그런데 확실해 보이게 만든 것은 재검증이 아니라 반복이었다. 대조할 원본이 없는 상태에서 반복만 쌓이면, 쌓인 높이가 근거의 두께로 오해된다.

조직에서도 같은 일이 일어난다. “우리 고객은 원래 이렇다”, “그 방식은 예전에 해봤는데 안 됐다” 같은 문장은 대개 원자료 없이 전승된다. 출처를 물으면 사람 이름이 나오지 데이터가 나오지 않는다.

그럼에도 「관찰 효과」가 사라지지 않는 이유

원자료 재분석이 나온 뒤에도 이 용어는 계속 쓰인다. 이유는 두 가지다.

첫째, 비슷한 현상이 다른 자리에서 실제로 관찰되기 때문이다. 임상시험 참가자가 자신이 관찰되고 있음을 알 때 복약을 더 잘 지킨다든가, 감사 기간에 기록 오류가 줄어든다든가 하는 보고는 계속 나온다. 다만 이것들은 호손 공장에서 증명된 것이 아니라 각각의 맥락에서 따로 확인된 것들이다. 이름을 빌려 쓰는 것과 근거를 빌려 쓰는 것은 다르다.

둘째, 관리자에게 대단히 편한 설명이기 때문이다. 성과가 오르면 “관심을 줘서”라고 하고, 오르지 않으면 “관심이 부족해서”라고 한다. 어느 결과가 나와도 설명이 되는 이론은 반증되지 않는다. 반증되지 않는 설명은 틀리지 않기 때문이 아니라 시험받지 않기 때문에 오래 산다.

여기서 반드시 갈라야 할 명제가 둘 있다.

• 「관찰이 행동을 바꾼다」 — 측정 방법론의 문제다. 대체로 참이고, 그래서 눈가림(blinding)과 통제군이 필요하다.
• 「관찰이 성과를 올린다」 — 경영 처방이다. 앞 명제가 참이라고 해서 이것이 자동으로 참이 되지는 않는다.

실제 조직에서는 감시가 촘촘해질수록 측정되는 지표는 오르고 측정되지 않는 품질은 내려가는 조합이 흔하다. 통화 건수를 재면 통화가 짧아지고, 처리 건수를 재면 어려운 건이 뒤로 밀린다. 관찰은 성과를 올리는 것이 아니라 성과의 모양을 관찰되는 쪽으로 바꾼다.

⇒ 그래서 실무의 질문은 “충분히 관심을 줬는가”가 아니다. “무엇을 관찰했고, 그 관찰이 어느 지표를 밀어 올렸으며, 그때 어느 지표가 내려갔는가”다.

실무 적용 — 그래서 뭘 하면 되나

• 널리 쓰이는 사내 정설일수록 원자료를 한 번은 열어라. 자주 인용된다는 것은 검증됐다는 뜻이 아니라 편하게 쓰인다는 뜻이다.
• 개입 시점을 주기의 경계에 두지 마라. 월요일·월초·분기초에 새 제도를 시작하면, 그 주기가 원래 갖고 있던 상승분이 개입의 성과로 잡힌다. 호손 조명 실험이 일요일에 손댄 것과 같은 함정이다.
• 관찰 자체가 개입임을 인정하고 설계하라. 파일럿 조직을 따로 떼어 각별히 챙기면 그 효과가 제도의 효과인지 관심의 효과인지 갈리지 않는다. 비교군에도 같은 관심을 주는 편이 낫다.
• 참여자 교체를 기록하라. 중간에 사람이 바뀐 파일럿의 성과는 제도의 성과가 아니라 인선의 성과일 수 있다.
• “효과가 있었다”보다 “무엇과 비교해 있었나”를 먼저 적어라. 비교 대상이 적히지 않은 성과 보고는 나중에 다시 열 수 없다.

호손 실험이 무가치해진 것은 아니다. 오히려 원자료를 다시 열 수 있었기 때문에 이 실험은 지금도 살아 있는 사례다. 열 수 없는 정설이 훨씬 위험하다.

본 콘텐츠는 공개된 연구 문헌을 바탕으로 한 정보 해설이다. 호손 연구는 해석이 갈리는 주제이며, 본문은 특정 해석을 최종 결론으로 제시하지 않는다.

작성: Inkmoat 편집팀 — 자주 인용되는 것과 검증된 것을 갈라 적는다.

참고

• Steven D. Levitt & John A. List, 「Was There Really a Hawthorne Effect at the Hawthorne Plant? An Analysis of the Original Illumination Experiments」, American Economic Journal: Applied Economics 3(1), 2011
• F. J. Roethlisberger & William J. Dickson, 『Management and the Worker』, Harvard University Press, 1939
• Henry A. Landsberger, 『Hawthorne Revisited』, Cornell University, 1958
• Richard Gillespie, 『Manufacturing Knowledge: A History of the Hawthorne Experiments』, Cambridge University Press, 1991