메타(Meta)가 개발한 오픈소스 대형 언어 모델(LLM)인 '라마(Llama)'의 새로운 버전을 공개했다. 메타는 블로그 포스트를 통해 '라마 3' 모델이 "그들의 클래스에서 가장 우수한 오픈소스 모델"이라고 주장했다. 라마 3 시리즈의 첫 두 모델은 각각 80억 개와 700억 개의 파라미터를 가지며, 이전 버전인 라마 2보다 훨씬 낮은 거짓 거부율, 개선된 정렬, 그리고 모델 응답의 다양성을 제공한다고 회사는 밝혔다.

라마 3는 공개적으로 이용 가능한 소스로부터 15조 개 이상의 토큰에 대해 사전 훈련되었으며, 이는 라마 2의 훈련 데이터셋보다 7배 크며, 코드도 4배 많다. 또한 메타는 라마 3 개발 과정에서 새로운 인간 평가 세트를 개발하여 벤치마킹에 사용했으며, 이는 12가지 사용 사례에 걸쳐 1,800개의 프롬프트를 포함한다.

메타는 라마 3를 가능한 한 널리 이용할 수 있도록 여러 회사와 파트너십을 맺었다. AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, Snowflake 등에서 이용 가능하며, AMD, AWS, Dell, Intel, NVIDIA, Qualcomm 등의 하드웨어 업체들도 지원을 제공할 예정이다. 메타는 앞으로 몇 달 동안 새로운 기능, 더 긴 컨텍스트 윈도우, 그리고 더 많은 모델 크기로 라마 3를 업데이트할 계획이다.