이번주 AI/SW 소식

• 메타, 405B 모델이 포함된 '라마 3.1' 공개


• 오픈AI, 새로운 검색 엔진 발표

메타, 405B 모델이 포함된 '라마 3.1' 공개

©Meta

지난주에 오픈AI와 미스트랄 AI(Mistral AI)의 신규 모델 출시 소식을 전해 드렸는데요. 이번에는 메타가 라마 3.1(Llama 3.1)을 공개했습니다. 올해 4월, 라마 3 시리즈 중 8B, 70B 모델이 먼저 공개되며 가장 큰 모델은 크기가 400B 이상이 될 것이라는 이야기가 있었는데요. 바로 라마 3.1 405B 모델로 밝혀졌습니다.

오픈 소스 모델이면서도 파라미터 수가 약 4050억 개에 달하는 이 모델은 GPT-4o, 클로드 3.5 소넷(Claude 3.5 Sonnet) 등 대표적인 비공개 모델과 비교했을 때도 성능이 비슷했다고 합니다. 405B 모델 이외에도, 메타는 기존의 라마 3 8B, 70B 모델을 업그레이드하여 출시했습니다. 업그레이드된 70B 모델은 대부분의 벤치에서 GPT-3.5 터보(Turbo)를 훨씬 뛰어넘는다고 하네요. 또한, 다국어 처리 기능이 추가되었고 콘텍스트 길이(context length)도 128K로 늘어났다고 하네요.