AI를 잘 쓰는 사람은 따로 있었다 — 프롬프트 71만 건이 보여준 «정교함»의 분포

「AI를 도입하면 생산성이 오른다」는 말은 이제 낯설지 않습니다. 그런데 누가, 어떻게 쓰는가를 실제 사용 기록으로 들여다본 연구는 드뭅니다.

한 대기업의 데이터를 쓴 프리프린트가 나왔습니다. ⚠️동료심사 전 단계의 원고임을 먼저 밝힙니다.

무엇을 얼마나 쟀나

초록에 적힌 규모는 이렇습니다.

• 기업 내부 데이터(비공개 자료)
• 백오피스 직원 약 4,000명
• 15개 기능 부서
• 2025년 8개월 동안
• 직원 프롬프트 713,564건과 그에 대한 대규모 언어모델의 응답

즉 설문이 아니라 실제로 무엇을 입력했는지를 본 연구입니다.

세 가지 결과

초록은 결과를 셋으로 정리합니다.

첫째, 시니어 직원이 더 정교하게 썼습니다. 저자들은 이것이 도메인 전문성이 생성형 AI의 능력을 «보완»한다는 해석과 부합한다고 적었습니다.

둘째, 정교함은 부서마다 크게 달랐습니다. 가장 높았던 곳은 전략, 디지털 혁신, 프로젝트 관리 셋이었습니다. 초록은 이 셋의 공통점을 전사적 전략 과제와 조직 변화에 초점을 둔 집단이라고 설명합니다.

셋째, 이쪽이 가장 무겁습니다. 시간이 지나도 정교함이 나아지지 않았고, 공식 AI 교육 뒤에도 지속적인 개선이 관찰되지 않았습니다. 저자들은 이로부터 정교한 사용은 바꾸기 어려울 수 있다고 적었습니다.

앞선 글과 반대로 보이는데

이 사이트에는 관련된 글이 이미 있습니다. AI를 붙였더니 신입만 34% 빨라졌다 — 상담원 5,179명 현장실험이 말하는 생산성의 진실입니다.

그 연구는 경험이 «적을수록» 이득이 크다고 했습니다. 이번 연구는 시니어가 «더» 정교하다고 합니다. 나란히 놓으면 반대처럼 읽힙니다.

★그런데 두 연구가 잰 것이 다릅니다.

• 앞선 연구가 잰 것 — 성과입니다. AI를 붙였을 때 «처리량이 얼마나 올랐는가».
• 이번 연구가 잰 것 — 행동입니다. «어떤 식으로 입력하는가».

성과는 출발점이 낮을수록 올릴 여지가 큽니다. 신입은 원래 못하던 것을 AI가 메워 주므로 향상폭이 큽니다.

정교함은 쌓인 지식이 있어야 나옵니다. 무엇을 물어야 하는지, 답이 틀렸는지를 알아야 좋은 프롬프트가 나옵니다. 그건 도메인 경험에서 옵니다.

⇒ 즉 「신입이 더 많이 좋아진다」와 「시니어가 더 잘 쓴다」는 동시에 참일 수 있습니다. 모순이 아니라 다른 질문에 대한 답입니다.

★이 구분이 실무에서 중요한 이유가 있습니다. 「AI는 신입에게 더 도움이 된다」는 결론만 들고 가면 교육 대상을 신입으로 좁히게 됩니다. 그런데 이번 연구는 정교한 사용이 교육으로 잘 안 바뀌었다고 말합니다. 두 결과를 함께 읽어야 판단이 섭니다.

「바꾸기 어렵다」가 뜻할 수 있는 것들

세 번째 결과가 가장 실무적입니다. 교육을 했는데 지속적 개선이 관찰되지 않았다. 이걸 어떻게 읽어야 할까요.

초록은 「정교한 사용은 바꾸기 어려울 수 있다」까지만 말합니다. 왜 어려운지는 말하지 않습니다. 그래서 아래는 이 연구가 답한 것이 아니라, 이 결과를 놓고 따져 볼 수 있는 갈래입니다.

• 교육의 형태 문제일 수 있습니다. 한 번의 강의로 되는 일이 아닐 수 있습니다.
• 측정 기간 문제일 수 있습니다. 8개월 안에 안 나타난 변화가 더 길게 보면 나올 수도 있습니다.
• ★도메인 지식이 병목일 수 있습니다. 프롬프트가 정교하려면 «무엇을 물어야 하는지»를 알아야 하는데, 그건 AI 교육이 아니라 업무 경험에서 옵니다. 그렇다면 AI 교육을 늘려도 안 바뀌는 것이 당연합니다.
• 업무의 성격 문제일 수 있습니다. 정형적인 업무는 정교한 프롬프트가 필요 없을 수도 있습니다. 그러면 «정교하지 않은 것»이 문제가 아닙니다.

⇒ ★마지막 갈래가 특히 중요합니다. 이 연구는 정교함의 «분포»를 보고했지 정교함이 좋은 것이라고 증명하지 않았습니다. 부서마다 필요한 정교함의 수준이 다를 수 있습니다.

⚠️그래서 이 결과를 「우리 직원들이 AI를 못 쓴다」로 읽는 것은 한 걸음 앞서간 해석입니다. 정확한 문장은 「사용 방식에 큰 편차가 있고, 그 편차가 교육으로 잘 줄지 않았다」까지입니다.

조심해서 읽을 것

• ★연관이지 인과가 아닙니다. 초록은 「시니어가 더 정교하다」고 관찰했을 뿐, 「경험이 정교함을 만든다」고 말하지 않습니다. 정교하게 쓸 줄 아는 사람이 승진했을 수도 있습니다.
• 한 기업의 백오피스입니다. 다른 업종·다른 직무로 일반화되는지는 이 연구가 답하지 않습니다.
• 「정교함」이 무엇인지는 초록에 없습니다. 어떻게 점수화했는지가 결과를 좌우하는데, 그 정의는 전문을 봐야 합니다. ⇒ 이 글에서 정의를 추측해 적지 않겠습니다.
• ⚠️동료심사 전입니다. 심사 과정에서 방법이나 결론이 바뀔 수 있습니다.

그래서 실무에서 무엇을 볼 것인가

• 도입 효과와 사용 방식을 «따로» 재십시오. 둘은 다른 지표이고 다른 결론을 냅니다.
• 부서별로 다를 것을 전제하십시오. 이 연구에서도 편차가 컸습니다.
• ★교육을 했다는 것과 사용이 바뀌었다는 것을 구분하십시오. 이 연구에서는 교육 뒤에도 지속적 개선이 관찰되지 않았습니다.
• 실제 사용 기록을 보십시오. 설문으로 「잘 쓰고 있다」를 묻는 것과 프롬프트를 보는 것은 다릅니다.
• 다만 사용 기록을 보는 일 자체가 감시가 될 수 있습니다. 이 연구는 비공개 데이터를 썼습니다. 조직에서 같은 일을 하려면 무엇을 어떤 범위로 보는지를 먼저 정해야 합니다.

정리하면

• 약 4,000명·713,564건·8개월의 실제 프롬프트를 본 프리프린트입니다.
• 시니어가 더 정교하게 썼고, 저자들은 도메인 전문성이 AI를 «보완»한다는 해석과 부합한다고 적었습니다.
• 부서 편차가 컸고 전략·디지털 혁신·프로젝트 관리가 가장 높았습니다.
• ★시간이 지나도, 공식 교육 뒤에도 지속적 개선이 관찰되지 않았습니다.
• ★앞선 글(신입이 더 빨라졌다)과 반대로 보이지만 모순이 아닙니다. 하나는 «성과», 하나는 «행동»을 잽니다.
• 연관이지 인과가 아니고, 한 기업의 백오피스이며, 「정교함」의 정의는 초록에 없습니다.
• ★「바꾸기 어렵다」의 «이유»는 이 연구가 답하지 않았습니다. 교육 형태·기간·도메인 지식·업무 성격 등 갈래가 남아 있습니다.
• ★이 연구는 정교함의 «분포»를 보고했지 「정교함이 좋다」를 증명하지 않았습니다.
• ⚠️동료심사 전 자료입니다.

본 콘텐츠는 arXiv:2608.27364v1(2026-08-27)의 초록에 기재된 내용에 한해 정리한 해설입니다. ⚠️동료심사를 거치지 않은 프리프린트이며, 초록에 없는 수치·정의·해석은 본문에 적지 않았습니다. 인용하실 때는 전문을 확인하시기 바랍니다. 최종 확인일: 2026-08-28.

작성: Inkmoat 편집팀 — 앞선 글과 결과가 반대로 보여서, 「무엇을 쟀는가」를 축으로 잡았습니다.

참고

• arXiv:2608.27364v1, Sophistication in GenAI Use: Field Evidence from a Large Firm (2026-08-27)
• 이 사이트, 「AI를 붙였더니 신입만 34% 빨라졌다」(콜센터 현장실험)
• 성과 지표와 행동 지표가 다른 결론을 내는 구조
• 관찰 연구에서 연관과 인과의 구분