GPT 3.5의 파라미터수는 1750억개가 아니라 200억개다? 지금은 삭제된 MS Research 아카이브 논문에서 밝혀진 파라미터 수는 진실일지, LLM 규모와 성능 관계 분석

• 마이크로소프트에서 발표한 논문에서 GPT 3.5의 파라미터 개수가 200억 개로 알려진 것보다 훨씬 작다는 사실이 밝혀져, AI 개발자들 사이에서 이슈가 되고 있다.

• 이에 따라, 파라미터 개수와 모델의 성능 사이의 관계에 대한 연구가 활발히 진행되고 있으며, 파라미터 개수를 줄이면서도 성능을 유지하는 모델 개발에 대한 관심이 높아지고 있다.

• 특히, 미스트랄 AI 팀은 파라미터 개수가 70억 개인 모델을 개발하여, 파라미터 개수가 적음에도 불구하고 높은 성능을 보여주었다. 이는 파라미터 개수와 성능 사이에 균형을 맞추는 것이 중요하다는 점을 보여준다.