이 글은 ‘튜링 포스트 코리아’에 발행된 주간 뉴스레터에서 발췌했습니다.

AI 기술, 산업, 스타트업, 그리고 사회적 영향 등에 대해 관심있으시다면 ‘튜링 포스트 코리아’ 구독 부탁드립니다.

[구독하러 가기]

미래를 함께 생각해 보는 ‘전통’을 만들어간다는 것

연말, 사회의 다양한 영역에서 올 한해를 되짚고 다음 한 해를 예상해 보는 건 어디서나 아주 보편적인 전통이자 관습이라고 하겠습니다.

‘야간 비행’, ‘어린 왕자’ 등의 작품을 남긴 앙투안 드 생텍쥐페리가 말했듯이, “당신 (우리)의 과제는 미래를 예견하는 것이 아니라 그걸 가능하게 만드는” 거겠죠. 그런 관점에서, 어쩌면 올바른 예측이라는게 절대적으로 존재한다기보다는, 우리가 선택하는 예측이 원하는 방향이 되도록 미래를 만들어간다는 개념이 더 맞는 게 아닌가 싶기도 합니다.

AI 영역에서도 연말 연시 한 해를 마무리하고 새해를 시작하면서 새로운 한 해의 AI는 어떻게 발전할까에 대한 예측을 하는 기관과 개인들이 많죠: 2018년부터 매년 Air Street Capital에서 발간하는 ‘State of AI Report’가 그 대표적인 예시가 될 것 같습니다.

지난 해인 2023년 12월 첫째 주, 튜링 포스트의 구독자이자 허깅페이스의 CEO인 끌레망 들랑그 (Clement Delangue)도 2024년의 AI에 대해서 예측하는 내용을 발표했고, 튜링 포스트에서도 이 내용을 공유하고 나서 코히어 (Cohere)의 사라 후커 (Sara Hooker), MILA의 요슈아 벤지오 (Yoshua Bengio), CoreWeave의 맥스 헬름 (Max Hjelm) 등 많은 분에게서 피드백을 받기도 했는데요. 이 때의 2024년 예측들 중 어떤 것들이 실현되었고 그렇지 않은지에 대한 내용을 곧 들려드릴 예정입니다.

물론, 금년에도 같은 일을 해 볼 겁니다: 허깅페이스의 CEO 끌레망이 또 다시 2025년에 대한 여섯 가지 예측을 내놓았거든요 ^.^

끌레망의 2025년 예측을 간단히 살펴볼까요?

• “AI와 관련해서 최초의 대규모 공공 시위가 발생할 것임”
  잡 시큐리티라든가 공공 안전 관련해서 AI 관련한 시위가 있을 수도 있을 것 같네요.
   
• “AI 때문에 시가 총액이 반토막 또는 그 아래로 떨어지는 대형기업이 생길 것임"
  아주 흥미로운 예측인데요. ‘AI 때문에’라는 논거가 성립하려면 상당히 극적인 사례가 등장해야 할 것 같기는 합니다만, 주요 관전 포인트인 것 같습니다.
   
• “개인용 AI 로봇이 최소 10만대 이상 사전주문 될 것임"
  ‘개인용 AI 로봇’을 어떻게 정의하느냐에 따라 가능할 것도 같습니다.
   
• “오픈소스 AI에서 주도권을 잡으면서, 중국이 AI 레이스를 이끌어나가기 시작할 것임"
  다소 볼드한 예측 같아 보이기는 하지만, 허깅페이스에 올라오는 중국 AI 모델들의 성능이나 개발 속도로 보면 불가능한 이야기는 아닌 것 같습니다.
   
• “생물학, 화학 분야에서 AI로 인해 큰 돌파구가 마련될 것임"
  올해 노벨상 수상자들을 확인하신 분이라면, 그럴 듯하다고 생각하시리라 봅니다.
   
• “허깅페이스와 함께하는 1천 5백만명의 AI 개발자들과 함께, 드디어 AI가 경제적 성장, 그리고 고용 증대 ㅎ과를 보여주기 시작할 것임”

여러분에게도 한 번 세 가지 정도의 질문을 드리고, 생각해 보시길 권하고 싶습니다:

• 2024년에 보신 AI 논문 또는 발표들 중에, 2025년을 변화시킬 만큼 중요한 것은 어떤 것들이 있었나요? 또는 어떤 논문이나 사건이 가장 놀라우셨나요?

• 2025년, 계속될 AI의 발전과 확산 때문에 가장 큰 변화를 겪게 될 산업이나 영역은 어디라고 생각하시나요?

• 지금 AI 영역에서 다소 간과되고 있는 과제 중 어떤 것들이 2025년에 주요 관심사로 떠오를까요? 또는 간과되고 있는 분야나 영역은 어디라고 생각하세요?

개인적으로 그냥 생각해 보시거나 주위 분들과 말씀 나눠보셔도 좋고, 혹시 튜링 포스트 코리아 (ben@turingpost.co.kr)로 의견을 보내주시면 미국의 튜링 포스트에서 조사하는 내용에 포함시켜서 다뤄보도록 하겠습니다.

급속도로 발전하고 있는 ‘추론 (Reasoning)’ 기술

금주는 한 가지 더 말씀 나눠보고 싶은 토픽이 있는데요 - 바로 ‘AI 추론’에 대한 겁니다. (여기서 ‘추론’이라는 용어는 Inference가 아니라 Reasoning의 의미로 말씀드립니다. 모델이 정보를 논리적으로 처리하고, 관계를 분석해서, 일관성있는 해결책 또는 결론을 도출하는 능력으로, 인간과 비슷한 이해력, 의사결정을 할 수 있도록 하는데 핵심이 됩니다.)

시장에서 ‘추론’에 대한 논의, 그리고 행보가 뜨거워지고 있습니다. 지난 2주 동안, 중국에서 아주 유력한 두 가지 모델의 프리뷰가 공개되었고, 바로 어제 오픈AI도 o1 프로, 그리고 기존 프리뷰의 정식 버전인 o1을 출시했죠. 중국계의 두 가지 모델은 DeepSeek-R1, 그리고 알리바바의 QwQ-32B 입니다. 한편, 구글의 딥마인드는 CoT (Chain-of-Thought) 프롬프팅 기법을 기반으로 고급 추론을 할 수 있는 AI 모델을 개발 중이라는 소식도 들려옵니다.

‘추론’에 대한 논의나 생각을 얼른 풀고 싶기도 하지만, 일단은 QwQ의 기술 보고서를 좀 기다려 보려고 합니다. QwQ 모델은 큰 반향을 일으키기는 했지만 아직은 프리뷰 단계로, 보고서는 약 한 달 정도 후에 공개될 예정이라고 합니다.

추론과 관련해서 한 번 읽어볼 논문들을 계속 수집 중인데, 지난 주 모은 것들은 전부 중국의 AI 연구소에서 나온 것들입니다 - 그리 놀라운 일은 아니지만요. 제로 베이스에서의 혁신은 어려울지라도, 복제하고 따라잡고 그 위에서 발전시키는 건 현재 AI 판에 있어서 중국의 잘 하는 전매 특허라고 해도 과언이 아닙니다. QwQ 보고서가 잘 정리되어 있다면, 이걸 검토할 때 한 번 추론과 관련된 논문들도 함께 들여다보고 공유드리도록 하겠습니다. 우선은, 먼저 살펴보고 싶으신 분들을 위해서 링크를 공유합니다:

• 상하이 교통대학교와 GAIR 연구진은, 간단한 Distillation 기법과 제한된 샘플을 가지고도 AIME 2024에서 오픈AI의 o1-preview를 뛰어넘었습니다. 모델들이 안전성이라든가 일반화 능력에서 뛰어난 모습을 보여주기는 했지만 Teacher 모델에 높은 의존성이 있었는데, 이건 계속해서 AI의 혁신을 만들어가려면 근본적인 원리를 연구하는 게 중요하다는 걸 보여주기도 합니다. —> [논문 보기]

• 칭화대학교 연구진은 암묵적 추론 (Implicit Reasoning)을 활용하는 LLM이 단계별 논리를 건너뛰고 기억이나 직관에 의존한다는 것을 발견했다고 합니다. 조사 결과, 암묵적 추론은 명시적인 CoT (Chain-of-Thought)에 비해서 안정성과 신뢰성이 떨어지는 것으로 나타났는데요, 복잡하고 높은 정확도를 요하는 추론 작업에 시사점이 있습니다. —> [논문 보기]

• 그리고 칭화대학교에서 또 몬테카를로 트리 탐색과 "사고 카드 (Thought Cards)"를 활용한 ICL (In-Context Learning)의 추론 자동화 시스템, HiAR-ICL을 소개했습니다. HiAR-ICL은 구조화된 자동화 (Structured Automation)를 통해서 추론 과제를 체계적으로 해결하는 방법을 보여줍니다. —> [논문 보기]