2024년 가장 주목 받는 회사를 뽑으라면 많은 분들이 엔비디아를 꼽을 겁니다.
작년에 이어 올해도 엔비디아가 엄청난 상승을 이어나가며 이제는 MS, 애플 다음으로 거대한 기업이 되었습니다.

이러한 상승 배경에는 단연 AI가 있습니다. 전세계 수많은 거대 기업들이 엔비디아의 고성능 GPU를 차지하기 위해 돈을 쏟아 붓고 있습니다. 지난해 엔비디아는 전세계 서버용 GPU 시장의 98%를 차지하며 사실상 독점을 하고 있습니다.

그런데 조금 이상합니다. 게이밍 GPU 시장을 엔비디아와 양분하는 AMD는 AI에서는 전혀 힘을 못쓰고 있습니다. 이 뿐만이 아닙니다. 엔비디아 GPU보다 더 저렴하고 전력 효율이 좋은 칩을 만들겠다는 스타트업들은 정말 많이 나왔지만 서버용으로도, 연구 용도로도 의미있는 점유율을 만든 기업은 아직 없습니다.

이런 상황에서, 기존의 AI 칩 스타트업들과는 조금 다른 방식으로 엔비디아에 도전하는 회사가 하나 등장했습니다. 오늘은 이 특이한 회사 tiny corp를 소개합니다.

복잡한 AI 업계를 쉽게 풀어드립니다
클루잇 뉴스레터를 무료로 구독해주세요.

중요한건 소프트웨어

엔비디아의 힘은 CUDA에서 나온다는 것은 많이 알고 계실 겁니다. CUDA는 엔비디아가 2007년 출시한 병렬 연산 기술입니다. CUDA를 사용하면 ‘그래픽 처리 유닛’인 GPU를 그래픽 처리 뿐만 아니라 다양한 연산 작업을 수행하는 데에 사용할 수 있습니다.

그러니까 엔비디아는 딥러닝이 주목받기 훨씬 이전부터 관련 노하우를 쌓아오고 있었던 겁니다. 그러다 보니 AI 시대가 도래했을 때, PyTorch 등 AI 개발을 위한 도구들은 엔비디아의 CUDA를 중심으로 발전을 해왔습니다.
지금까지 여러 기업들이 엔비디아 GPU 보다 더 나은 가격 대비 성능을 내세웠지만, 소프트웨어 지원의 부족으로 하드웨어의 이점을 충분히 활용하지 못했습니다. 저렴한 하드웨어를 새로 도입하고 싶어도 코드를 수정해야 하거나, 제한적인 용도로만 사용할 수 있었습니다.

돌아온 천재 해커

2007년, 17세의 나이로 아이폰을 해킹(탈옥)하여 유명해진 개발자가 있었습니다.
Geohot이라는 이름으로 잘 알려진 George Hotz입니다.

Geohot은 두 가지 이유로 AI 반도체 회사가 잘될 수 없다고 생각했습니다.

1. AI 칩을 만들어도 소프트웨어가 빈약해서 망할 수 밖에 없다.
2. AMD가 AI업계에서 힘을 못쓰긴 하지만, 신생 스타트업이 AMD 보다 칩을 잘 설계할 수 있을리가 없다

Geohot은 AMD가 시장 점유율이 낮긴 하지만 충분히 좋은 칩을 생산하고 있고, 다만 소프트웨어 지원이 부실하기 때문에 시장에서 외면 받고 있다고 생각했습니다. 실제로 AMD의 GPU 프로그래밍 기술인 ROCm은 안정성이 낮고 GPU의 성능을 충분히 활용하지 못하는 문제가 있었습니다.
그래서 Geohot은 소프트웨어의 문제를 해결하기로 합니다. AMD의 잘 만들어진 GPU에 본인 회사의 잘 만들어진 소프트웨어가 결합한다면 시장에서 먹힐 거라고 생각한 것입니다.

tiny corp

이러한 아이디어를 바탕으로 Geohot의 새로운 회사 tiny corp가 탄생했습니다. Tiny Corp는 AMD 하드웨어를 AI 산업에 활용할 수 있도록 하는 소프트웨어들을 개발하고 있습니다.

• 운영체제가 AMD 하드웨어를 안정적이고 효율적으로 활용할 수 있도록 하는 드라이버
• 개발자들이 AMD 하드웨어를 활용한 AI 프로그램을 쉽게 개발할 수 있도록 하는 프레임워크
• AI 프로그램들이 AMD 하드웨어에서 실행될 수 있게 하는 런타임

Tiny Corp는 이러한 소프트웨어를 잘 개발해서, AMD GPU와 자체적인 소프트웨어가 탑재된 고사양 컴퓨터를 판매하는 전략을 갖고 있습니다.

아직 tinycorp는 증명해야 할 것들이 많이 남아있지만 그 과정을 지켜보는 것은 참 흥미롭습니다. tinycorp와 Geohot에 흥미를 느낀 분들을 위해 링크를 몇 개 남기며 글을 마무리합니다.

• tinycorp는 오픈소스 프로젝트 ‘tinygrad’의 이슈들에 현상금을 걸고 이슈를 해결한 사람들에게 채용 제안을 보냅니다. AI 개발자라면 이 현상금 목록을 재미있게 보실 겁니다.
• Geohot은 이전에 Comma.ai 라는 자율주행 스타트업을 창업하고 현재도 회장으로 있습니다. Comma.ai의 모듈을 장착하면 일반 차량도 FSD에 준하는 주행 보조를 받을 수 있습니다.

복잡한 AI 업계를 쉽게 풀어드립니다
클루잇 뉴스레터를 무료로 구독해주세요.