- GPU 2만 개 자랑하는 AI 시대에, 동네 사장님한테 필요한 건 월 6만 원짜리 자동응답 봇이었다

블랙핑크가 먹어봤다는 싱가포르 케이크 가게가 있어요. 'Cakeinspiration'이라고, 셀럽들 사이에서 꽤 이름이 알려진 곳인데요. 이 가게 사장님 Kai Yang Chan이 정작 밤잠을 못 잔 이유는 셀럽 마케팅이 아니었습니다. 왓츠앱으로 쏟아지는 고객 문의에요. 

맞춤 케이크 하나 주문받으려면 디자인, 사이즈, 배달 주소, 시간을 하나하나 물어봐야 하는데, 이걸 직원들이 수작업으로 답하다 보니 메시지가 매일 산더미처럼 쌓였다고 해요.

블랙핑크 케이크는 만들 줄 아는데, 왓츠앱 답장을 못 따라가는 상황이랄까요.

이 가게가 AI 자동응답을 붙였더니 매출이 최소 10% 올랐답니다. AI가 정형 문의를 받아서 기본 정보를 수집하고, 커스텀 주문만 사람한테 넘기는 구조예요. 직원들은 "스트레스가 줄었다"고 했고요. 근데 여기서 쓴 게 수천만 원짜리 최첨단 AI가 아닙니다. 왓츠앱 답장 봇 하나예요. 이게 이 가게의 판을 바꿨어요.


1. AI 쓰고 싶은데, 빅테크가 파는 건 '우리 것'이 아니잖아요

• OECD 38개 선진국 기준으로, 대기업 AI 도입률은 40%인데 중소기업(직원 10-49명)은 11.9%에 불과해요. 생성형 AI를 도입한 중소기업 중에서도 핵심 업무에 실제로 적용한 비율은 고작 29%뿐이고요.

• 싱가포르의 수영학교 Happy Fish Swim School도 흥미로운 케이스예요. 싱가포르-말레이시아 21개 지점에 AI 봇 8개를 굴리는데, 코치 대타 찾기부터 인사, 급여, 재고관리까지 봇이 다 해요. 창업자 Jian Yong Tan은 "매장이 늘면서 매니저들이 놓치기 시작한 현황 파악을 AI가 되찾아줬다"고 했습니다.

• 문제는 이 두 회사 모두 처음에 빅테크 도구(ChatGPT, Claude)를 써봤지만 혼자 알아서 일하는 AI로 만드는 데 실패했다는 거예요. 케이크 가게 Chan 사장은 글쓰기나 분석에는 쓸 수 있었는데 고객 응대를 시키는 건 못 했고, 수영학교 Tan 사장은 "Claude Code와 Cowork이 대체 어떻게 돌아가는 건지 솔직히 이해를 못 했다"고 고백했어요. 

==> 빅테크는 자사 AI를 '모든 문제의 해답'으로 광고하지만, 실제 제품은 대기업 고객을 전제로 설계돼 있어요. 실험해볼 여유 자금, 시스템 세팅할 기술팀, 불투명한 사용량 기반 과금을 감당할 체력을 다 갖춘 회사 말이에요. 동네 케이크 가게나 수영학교가 이 조건에 해당될 리가 없잖아요.


2. 동네 사장님이 진짜 필요한 AI는 '이것'이었다

• "AI가 필요한 기업이 수백만 곳인데, 아무도 그들의 필요를 진짜로 풀어주지 않아요. 다들 허공에 떠 있는 거예요."

• 중소기업이 원하는 건 최첨단 AI 모델도, 대형 GPU 클러스터도 아니에요. 지금 하는 일에 바로 붙일 수 있고, 개인정보보호 규정을 지키고, 매달 나갈 비용을 예측할 수 있는 '기성품 솔루션'이에요. 별 거 아닌 것 같은데, 이 세 가지를 동시에 갖춘 AI 제품이 시장에 거의 없다는 게 현실입니다.

• 싱가포르의 Voltade라는 회사가 바로 이 시장을 노리고 있어요. DeepSeek, Kimi 같은 오픈소스 모델을 쓰고, 월 S$59(한화 약 6만 원)부터 시작합니다. 공동창업자 Leonard Loo에 따르면 ChatGPT나 Claude 같은 상용 모델을 쓰면 비용이 20배까지 뛴다고 해요. "사무 업무의 99%는 기본급 모델로 충분합니다. 최첨단급이 필요한 건 정말 새로운 걸 발명하려 할 때뿐이에요."

• 업무별로 AI를 따로 만들고, 같은 업종의 비슷한 기업군 단위로 모델을 맞춤 조정한 뒤 개별 고객한테는 가볍게 손만 보는 방식입니다. "기업들은 자기가 생각하는 것만큼 특별하지 않아요. 같은 업종 안에서는 겹치는 업무 방식이 꽤 많거든요." 


3. 'AI는 셀수록 좋다'? 아닙니다, 몸에 맞는 옷을 입으세요

• AI 업계에는 더 크고, 더 많은 AI를 쓸수록 좋다는 소위 '토큰 최대주의' 사고방식이 있어요. 근데 비용에 민감한 현장 사용자들은 정반대로 움직입니다. 업무에 맞는 크기의 모델을 골라 쓰는 '적정 규모 전략'이 그들의 답이에요.

• "작년만 해도 공개 모델과 비공개 모델의 성능 차이가 컸는데, 지금은 그 차이가 아주, 아주 작습니다." 중소기업 입장에선 '가장 강력한 AI에 접근하느냐'보다 '일상적으로 쓰는 AI 비용을 낮게 유지하느냐'가 먼저라는 이야기예요.

• 인도 에듀테크 회사 Smartail은 학생 답안지 채점에 AI를 쓰는데, 처음엔 GPU를 돌리다가 대부분의 작업은 CPU로도 된다는 걸 깨달았어요. CPU 머신은 시간당 US$0.04, Nvidia A4000 GPU는 US$0.76, H100은 US$5.95입니다.


4. 우리 고객 데이터를 남의 AI한테 갖다 바치라고요?

• 기업들은 고객, 직원 데이터를 분석하고 싶어하면서도 외부 AI 블랙박스에 넘기는 건 극도로 꺼립니다. 그래서 SLM(소형 언어 모델)을 대안으로 내세워요. 대형 언어 모델보다 범위는 좁지만 비용이 싸고, 자기 회사 데이터에 맞추기가 훨씬 쉽거든요.

• "저희는 보내는 데이터로 학습하지 않는 모델만 씁니다. 데이터를 가져다 학습하는 제공사는 처음부터 배제해요. 대기업이든 중소기업이든 사업 데이터는 기밀이니까요."

• "다들 'GPU 2만 개 확보했다', '1만 개 확보했다'고 자랑하고, 초대형 클라우드 업체들은 무상 크레딧을 뿌리고, 칩 주변에 온갖 소문이 넘쳐요. 근데 현실적으로, 동네 중소기업에게 필요한 게 대체 뭡니까?"


AI가 필요 없는 게 아니라, 빅테크가 팔고 싶어하는 AI와 사장님이 실제로 필요한 AI 사이에 거리가 너무 먼 거예요. 가게 사장님한테 필요한 건 왓츠앱에서 주문을 자동으로 분류해주는 봇이지, GPU 클러스터가 아니거든요. 빅테크가 이걸 모를 리는 없는데, 그 시장에서는 수익구조가 안 나오니까 굳이 안 내려오는 거겠지 싶습니다.

출처: Tech in Asia, "SMEs want AI too, but not the kind Big Tech is selling", Pranav Balakrishnan, 2026.8.21