인스타그램 tmss.mag의 글을 전재하였습니다.

 

최근 AI 분야에서 ’Mamba‘가 주목받고 있습니다.

트랜스포머(Transformer) 모델 기반의 LLM이 2023년의 주인공이었지만, 
Mamba의 등장이 새로운 패러다임의 서막이 될 것으로 기대됩니다.

 

기존의 생성 AI는 Google의 트랜스포머에 의해 주도되어 왔습니다.

이 모델은 OpenAI의 ’GPT-4‘와 Anthropic의 ’Claude‘와 같은 LLM의 핵심이죠.

 

트랜스포머는 주로 문장에서 다음에 올 ’가장 가능성 높은 단어‘를 예측하는 데 사용됩니다.

그 때문에 이 모델은 문제를 실제로 해결하는 것이 아니라 ’확률적 앵무새‘에 불과하다는 비판도 있었습니다.

또한, 높은 훈련 및 운영 비용도 지적을 받았었죠.

 

그러나 최근 다른 유형의 모델들이 주목을 받기 시작했습니다.

카네기 멜론 대학교와 프린스턴 대학교의 연구팀에 의해 개발된 ’Mamba‘는 트랜스포머와는 다른 새로운 구조를 가지고 있는데요.

Mamba는 선택적 상태 공간 모델(Selective SSM) 기반으로, 
더 빠른 추론 속도와 훈련 속도, 그리고 언어 처리, 오디오 분석 등 복잡한 시퀀스에 대한 
뛰어난 성능을 보여줬습니다.