Transformer 모델의 시작: Attention is All You Need

바야흐르 현재 전세계는 AI chatGPT의 시대에 살고 있습니다. 하지만 AI라는 키워드는 구글의 알파고 부터 시작해 전혀 새로운 개념이 아니며 인공지능이라는 단어는 새롭지 않은데, 왜 굳이 GPT에 집중하는지를 팔로백 해보면 구글 brain에서 2017년도에 작성한 논문 ‘Attention Is All You Need’ 라는 논문을 발견하게 됩니다.

자연어 처리(NLP) 분야에서는 주로 RNN(Recurrent Neural Networks)이나 LSTM(Long Short-Term Memory) 같은 순차적 모델이 사용되었습니다. 이러한 모델들은 문장을 단어 단위로 하나씩 처리하곤 해서 번역 같은 작업을 진행하는데 시간이 많이 걸리고, 때로는 문맥을 정확하게 파악하지 못하는 문제가 있었습니다. 상상해보세요, 단어를 하나씩 천천히 읽는 친구가 있다고 생각해보세요. 그 친구는 전체 문맥을 놓치기 쉽죠.