GitHub과 글로벌 기술 서비스 회사 Accenture가 함께 진행한 연구 보고서에 따르면, Copilot의 사용이 코딩 속도를 55% 향상시키고 더 만족스러운 경험을 제공한다고 밝혔습니다. 이 연구에서는 Accenture의 개발자들을 Copilot 접근 권한이 있는 그룹과 없는 그룹으로 나누어 비교 분석했습니다. Copilot 사용자들의 데이터를 분석한 결과, Copilot을 사용하는 그룹은 8.69% 더 많은 풀 리퀘스트를 제출하고, 병합 비율이 15% 높았으며, 성공적인 빌드는 84% 증가했다고 합니다.

반면, 런던의 개발자 Yuxuan Shui는 Copilot을 사용한 후 그의 생산성이 향상되지 않았다고 보고했습니다. Shui는 주로 C로 작성된 오픈 소스 프로젝트에서 Copilot을 사용했으며, Copilot의 제안을 받아들이는 데 일관성이 없고 반응 속도가 느리다는 문제를 지적했습니다. 그는 Copilot이 반복적인 코드 작성에는 도움이 되었지만, 복잡한 기능을 생성할 때는 예측할 수 없는 결과를 초래하여 부담이 되었다고 말했습니다.

이러한 연구 결과와 사용자 경험은 Copilot 및 기타 AI 코딩 보조 도구가 개발자에게 도움을 줄 수는 있지만, 그 효과가 광범위하게 나타나지는 않는다는 것을 시사합니다. 개발자들은 이러한 도구로부터 가치를 얻고 코드를 오염시키지 않기 위해 어떻게 사용해야 하는지 배워야 할 필요가 있습니다. Copilot이 제공하는 편리함과 함께 그 한계와 주의해야 할 점을 인식하는 것이 중요합니다.