이번주 AI/SW 소식

• 맘바(Mamba) 아키텍처를 응용한 새로운 언어 모델 등장


• 일론 머스크의 xAI, 언어 모델 '그록-2' 출시

맘바(Mamba) 아키텍처를 응용한 새로운 언어 모델 등장

오픈소스 언어 모델 팰컨(Falcon)을 개발한 연구 기관 TII(Technology Innovation Institute)가 새로운 언어 모델 '팰컨 맘바 7B(Falcon Mamba 7B)'를 발표했습니다. 기존의 언어 모델에 널리 사용되었던 트랜스포머(Transformer) 아키텍처의 핵심인 어텐션(attention)으로는 컴퓨팅, 메모리 비용으로 인해 긴 시퀀스를 처리하는 데 한계가 있었는데요. 이 단점을 극복하기 위한 '상태 공간(state space) 모델' 중 하나가 바로 맘바입니다.