메타가 개발 중인 '라마 3'이 오픈 소스 대형언어모델(LLM) 중에서 가장 뛰어난 성능을 보이며, 기존 첨단 모델에 근접한 성능을 보였다고 디 인포메이션이 보도했다. 라마 3의 4050억 매개변수 버전은 MMLU 벤치마크에서 구글의 '제미나이 프로', 앤트로픽의 '클로드 3 오퍼스', 오픈AI의 'GPT•4'에 이어 84.8점을 기록했다. 그러나 라마 3의 컨텍스트 창이 8000개가 조금 넘는 토큰으로 짧다는 비판이 있었으며, 이에 대해 메타는 더 긴 컨텍스트 창을 도입할 계획이라고 밝혔다. 또한 라마 3는 전문가 혼합(MoE) 접근 방식을 채택하지 않았지만, 오픈 소스 모델인 만큼 개발자들이 스스로 MoE 접근 방식을 구축할 수 있을 것이라고 메타는 설명했다.