코파일럿을 준 개발자가 55.8% 빨랐다 — 95명 무작위 실험이 잰 것과 «안 잰 것»

AI 코딩 도구가 개발자를 얼마나 빠르게 만드는지에 대해, 마이크로소프트 리서치·깃허브·MIT 슬론 연구진이 2023년 2월 «55.8%»라는 숫자를 내놓았습니다. 무작위 통제실험에서 나온 숫자라 근거는 탄탄합니다. 다만 숫자 하나만 떼어 옮기면 그것이 «무엇을» 잰 것인지가 함께 빠집니다. 논문 원문으로 측정 범위를 확인해 봅니다.

실험 설계 — 과제 하나, 시간 하나

연구진은 2022년 5월 15일부터 6월 20일까지, 깃허브 코파일럿이 정식 출시되기 직전에 실험을 했습니다. 프리랜서 플랫폼 업워크(Upwork)에 구인 공고를 내 166건을 제안했고, 그중 95명이 수락했습니다. 이들을 무작위로 나눠 45명은 처치군(코파일럿 사용), 50명은 대조군에 넣었습니다.

과제는 하나였습니다. 자바스크립트로 HTTP 서버를 «가능한 한 빨리» 구현하는 것입니다. 처치군은 1분짜리 소개 영상을 봤고, 대조군은 코파일럿만 빼고 인터넷 검색이나 스택오버플로 등 무엇이든 쓸 수 있었습니다.

⇒ ★측정 방식이 깔끔합니다. 저장소에는 12개의 테스트가 들어 있었고, 저장소를 만든 시각부터 «12개를 모두 통과한 첫 커밋»까지의 시간을 완료 시간으로 쟀습니다. 참가자는 테스트를 볼 수는 있지만 고칠 수는 없었습니다. 「다 했다」를 사람이 판정하지 않고 기계가 판정한 것입니다.

결과 — 71분 대 161분

과제를 끝낸 사람만 놓고 보면, 처치군은 평균 71.17분, 대조군은 160.89분이 걸렸습니다. 완료 시간이 55.8% 줄어든 것이고, 시간으로 보면 절반 이하입니다. p값은 0.0017, 개선 폭의 95% 신뢰구간은 21~89%입니다. 300분이 넘은 이상치 4명은 전부 대조군이었는데, 이들을 빼도 결과는 유지됐다고 논문은 밝힙니다.

⇒ ★★신뢰구간이 21%에서 89%까지라는 점을 먼저 보십시오. «55.8%»는 이 넓은 범위의 한가운데 값입니다. 효과가 «있다»는 증거는 강하지만, «정확히 얼마인가»는 꽤 불확실합니다.

누가 더 득을 봤나

연구진은 효과가 사람마다 다른지도 분석했습니다. 프로그래밍 경력이 짧을수록, 하루 코딩 시간이 길수록, 그리고 25~44세 집단에서 효과가 더 컸습니다. 논문은 이것이 소프트웨어 개발로 «직업을 옮기려는 사람»에게 도움이 될 가능성을 보여준다고 해석합니다.

참가자 구성도 함께 읽어야 합니다. 대부분 25~34세였고 인도와 파키스탄 출신이 많았으며, 중위 연소득은 1만~1만9천 달러, 다수가 4년제 학위 이상, 평균 코딩 경력은 6년, 하루 평균 9시간 코딩한다고 답했습니다.

사람들은 효과를 «덜» 느꼈다

실험 뒤 설문에서 참가자들은 코파일럿의 생산성 효과를 평균 35%로 추정했습니다. 실측 55.8%보다 낮습니다. 출시 알림을 받고 싶은 최고 월 가격(지불 의사의 상한)은 처치군 27.25달러, 대조군 16.91달러로, 직접 써 본 쪽이 유의하게 높았습니다.

⇒ ★체감과 실측이 어긋났다는 점은 관리자에게 의미가 있습니다. «써 보니 별로 안 빨라진 것 같다»는 팀원 의견만으로 도구를 판정하면 효과를 과소평가할 수 있습니다. 반대로 «써 보니 훨씬 빠르다»는 체감도 측정 없이 믿을 근거가 되지 못합니다.

논문이 스스로 밝힌 «안 잰 것»

이 논문의 가장 값진 부분은 한계 절입니다.

• 과제가 하나뿐이다 — 표준화된 과제 1개였고, 여러 사람이 큰 프로젝트에서 협업하는 상황이 아니었습니다.
• 코드 품질을 재지 않았다 — AI가 더 좋은 코드를 제안하면 품질이 오를 수도, 개발자가 덜 주의하면 떨어질 수도 있으며, 이는 성능·보안 문제로 이어질 수 있다고 논문은 적습니다.
• 성공률 차이는 유의하지 않았다 — 처치군 성공률이 7%포인트 높았지만 신뢰구간이 -11%포인트에서 +25%포인트로 0을 포함합니다. «빨라졌다»는 확인됐어도 «더 많이 해냈다»는 확인되지 않았습니다.
• 처치군 5명은 코파일럿 없이 시작했다 — 가입 절차를 마치지 못한 인원입니다.

실무 적용 — 우리 팀에 «55.8%»를 옮기기 전에

• ★측정 단위를 맞춰라. 이 숫자는 «정의가 분명한 단일 과제의 완료 시간»입니다. 우리 팀 지표가 리드타임·배포 빈도·장애율이라면 같은 숫자가 나온다는 보장이 없습니다.
• ★품질 지표를 같이 걸어라. 논문이 재지 않은 코드 품질(리뷰 반려율, 버그, 보안 취약점)을 도입 실험에 반드시 포함합니다.
• 대조군을 두라. 도구를 쓰는 팀과 안 쓰는 팀을 나눠 같은 기간에 재야 «원래 빨라질 시기였다»를 걸러낼 수 있습니다.
• 체감 설문은 보조 지표로만 써라. 이 실험에서 체감(35%)과 실측(55.8%)은 20%포인트 넘게 벌어졌습니다.
• 효과가 큰 집단부터 시작하라. 경력이 짧은 개발자에게서 효과가 더 컸다는 결과는 온보딩·재교육 인력이 우선 대상이 될 수 있음을 시사합니다.

정리하면

• 95명을 무작위로 나눈 통제실험에서 코파일럿 처치군은 같은 과제를 평균 71분, 대조군은 161분에 끝냈습니다(시간 55.8% 감소, 95% 신뢰구간 21~89%).
• ⇒ 경력이 짧을수록, 코딩 시간이 길수록 효과가 컸고, 참가자들은 효과를 실측보다 낮게(35%) 체감했습니다.
• 논문은 과제가 하나뿐이고 코드 품질을 재지 않았으며 성공률 차이는 유의하지 않았다고 스스로 밝힙니다.
• 이 숫자를 조직에 옮길 때는 같은 측정 단위, 품질 지표, 대조군을 함께 갖춰야 합니다.

본 콘텐츠는 arXiv에 공개된 논문 원문(arXiv:2302.06590v1, 2023.2.13)을 직접 읽고 정리했습니다. 이후 학술지 게재판이나 후속 연구의 수치는 반영하지 않았습니다. 최종 확인일: 2026-11-04.

작성: Inkmoat 편집팀