공유된 기사
"구글 제미나이 프로, 오픈AI 'GPT-3.5 터보'에 성능 밀려…구글의 과장 주장에 물음표"
구글의 경량 버전 언어 모델 '제미나이 프로'가 오픈AI의 'GPT•3.5 터보'보다 성능이 떨어진다는 첫 외부 테스트 결과가 나왔다. 카네기 멜론 대학교와 스타트업 베리AI의 연구진이 4가지 대형언어모델을 비교 테스트한 결과, 제미나이 프로는 GPT-3.5 터보 현재 버전과 비슷한 성능이거나 약간 낮은 정확도를 기록했다. 이로 인해 구글이 주장했던 '제미나이가 GPT-4보다 성능이 뛰어나다'는 주장이 과장일 수 있다는 지적이 나왔다.
연구진은 '지식 기반 질의응답' 테스트를 통해 4가지 모델을 비교했으며, 제미나이 프로는 GPT•3.5 터보보다 성능이 떨어졌으며, GPT-4와는 비교도 안 됐다. 특히, 제미나이 프로는 사지선다형 질문에서 정답 여부에 관계없이 다른 모델보다 특히 ‘D’를 더 많이 선택한 것으로 나타났다. 이는 제미나이가 객관식 문제를 해결하기 위해 훈련을 크게 조정하지 않았음을 의미할 수 있다고 연구진은 설명했다.
그러나 제미나이 프로는 언어 간 번역에서 가장 뛰어난 실력을 보였다. 연구진은 "제미니 프로는 20개 언어 중 8개에서 GPT•3.5 터보 및 GPT-4 터보를 능가하며, 4개 언어에서 최고의 성능을 기록했다"라고 말했다. 그러나 제미나이 프로는 대략 10개 언어 쌍에서 응답을 거부하는 경향을 보였다는 것도 덧붙였다. 이로 인해 구글은 타격을 입을 가능성이 크다는 평가가 나왔다.
연구진은 '지식 기반 질의응답' 테스트를 통해 4가지 모델을 비교했으며, 제미나이 프로는 GPT•3.5 터보보다 성능이 떨어졌으며, GPT-4와는 비교도 안 됐다. 특히, 제미나이 프로는 사지선다형 질문에서 정답 여부에 관계없이 다른 모델보다 특히 ‘D’를 더 많이 선택한 것으로 나타났다. 이는 제미나이가 객관식 문제를 해결하기 위해 훈련을 크게 조정하지 않았음을 의미할 수 있다고 연구진은 설명했다.
그러나 제미나이 프로는 언어 간 번역에서 가장 뛰어난 실력을 보였다. 연구진은 "제미니 프로는 20개 언어 중 8개에서 GPT•3.5 터보 및 GPT-4 터보를 능가하며, 4개 언어에서 최고의 성능을 기록했다"라고 말했다. 그러나 제미나이 프로는 대략 10개 언어 쌍에서 응답을 거부하는 경향을 보였다는 것도 덧붙였다. 이로 인해 구글은 타격을 입을 가능성이 크다는 평가가 나왔다.