공유된 기사
xAI, 챗봇 '그록-2' 코드 전면 수정으로 추론 속도 2배 향상!
일론 머스크의 xAI가 챗봇 'Grok•2'와 'Grok-2 Mini'의 코드를 전면 수정해 추론 속도와 정확도를 크게 향상시켰습니다. xAI 개발자 이고르 바부슈킨은 "Grok-2 Mini는 2배 더 빨라졌으며, SG랭(SGLang)을 사용해 추론 스택을 처음부터 다시 작성했다"고 밝혔습니다. SG랭은 복잡한 언어 모델 프로그램을 효율적으로 실행해 기존 시스템보다 최대 6.4배 높은 처리량을 달성할 수 있는 오픈 소스 시스템입니다. 한편, LMSYS의 '챗봇 아레나' 선호도에서 Grok-2는 3위를 기록했으며, 바부슈킨은 앞으로도 Grok-2 Mini의 처리 속도를 추가 향상할 계획이라고 전했습니다.