#사업전략 #운영 #트렌드
🏙 Fortune 500대 경영진이 고민하는 AI의 현실

이번 아티클은 포춘 500대 기업들이 어떻게 AI를 사용하는지 조사한 a16z의 아티클을 정리했습니다. 규모있는 대기업이 AI를 어떻게 도입을 하고 있고, 어떤 점을 고민하고 있는 지 알 수 있는데요.

사내에 AI 도입을 고민하고 있거나, 기업용 AI 프로덕트 개발을 하고 있거나 고민 중인 분들, 혹은 모델을 개발/판매하는 회사에서 근무 중이시라면, 도움이될 인사이트와 통계가 가득합니다.

구독자님이 오너의 마인드로 AI를 바라보는 데 도움이 되시길 바랍니다.😎

 


🐥 이런 아싸이트를 드릴게요


  • 기업들은 생성형 AI에 얼마나 어떻게 예산을 쓰는지

  • 생성형 AI 투자의 ROI 측정

  • 사내용 AI 솔루션 구현의 어려움

  • 사내용 AI 솔루션에 어떤 모델을 어떻게 쓸까

  • 모델을 선택하는 기준

  • 기업용 AI 서비스 사례


2023년 소비자 시장을 휩쓴 생성형 AI

지금까지는 생성형 AI씬이 B2C 프로덕트를 중심으로 흘러온 부분이 컸습니다.

작년 소비자들이 새로운 AI 챗봇이나 스테이블 디퓨젼 등으로 컨텐츠를 만드는데 시간을 보내는 동안, 기업 대상 생성형 AI의 활용은 몇 안되는 사용 사례로 제한되거나, "GPT Wrapper“류의 제품을 UI만 조금 바꿔서 출시하는 정도였습니다. 회의론자들은 자율주행으로 치면 Level 1에 불과한 지금의 AI가 과연 기업의 생산성과 사업성에 실질적인 가치를 주는게 맞는지 의문을 제기했습니다.

"맨날 비슷한 사용 사례 아닌가요? 돈이 될까요? 과장된 측면이 많은 것 같은데요?"

a16z는 Fortune 500대 기업 및 주요 기업 경영진 수십 명과 대화를 나누고, 70명 이상을 설문 조사하면서 [기업들이 어떻게 생성형 AI를 사용하고 있고, 구매 및 예산을 수립하고 있는지] 파악했습니다. 지난 6개월 동안 생성형 AI에 대한 예산 배정과 태도가 크게 변했습니다. 경영진들은 여전히 생성형 AI에 대해 아직 보수적인 입장을 취하지만, 그럼에도 동시에 관련 투자를 늘리고 활용 범위를 넓히고 있습니다.


  • AI 관련 예산은 3배정도 증가

  • 상대적으로 작은 규모의 오픈 소스 AI 모델의 사용 케이스 확대

  • 초기 실험 단계 → 실제 도입 단계로 업무 프로세스를 조금씩 전환 중


AI 사업을 전개한다면, 기업을 타겟팅한 여기가 광활한 기회의 땅입니다. 


  1. 기업의 AI 전략에 수반한 Pain Point를 예상

  2. 서비스 중심의 접근 방식 → 스케일업을 할 수 있는 프로덕트

기업이 처한 상황을 충분히 고려한 프로덕트가 새로운 투자의 흐름을 포착하고 시장 점유율을 확대할 수 있을 거에요.

언제나 그렇듯, 고객이 어떤 문제를 갖고 있는 지가 제일 중요할텐데요. 의사결정 권한을 갖고 있는 기업의 경영진들이 생성형 AI도입에 대해 어떻게 의사 결정을 어떻게 내리는지 파악할 수 있도록 포인트를 하나씩 살펴봅시다👾

 

AI에 투자를 늘리는 기업들

a16z의 계산에 따르면, 2023년 말 모델 API(파인튜닝 포함) 시장은 연매출만 약 15억~20억 달러(약 3조원)를 기록한 것으로 추정됩니다(Azure를 통한 OpenAI 모델 지출을 포함). 전체 시장의 예상 성장과 기업들의 구체적인 지표를 감안할 때, 기업의 AI API 지출만으로도 2024년엔 연간 최소 50억(약 6.76조원) 달러의 매출은 달성할 것이며, 상당한 상승 잠재력이 있습니다.

 

1. 생성형 AI 관련 예산이 급증하고 있어요.

[기업이 생성형 AI에 얼마나 투자하고 있는지] 2023년 조사했을 때, AI 기반 모델 API + 자체 호스팅 + 파인 튜닝 모델에 조사 기업당 연 평균 700만 달러(약 94억원)를 지출했습니다. 2024년 동일한 조사에서는 생성형 AI에 대한 도입 범위를 더 확대하기 위해 작년 대비 약 2.5배 증가한 기업 당 연 18억 달러(약 243억원)의 예산이 배정되었다고 밝혔습니다.

지난 6개월 동안, 기업들은 생성형 AI 도입에 대한 탑다운 의사결정을 내렸는데요. 예전에는 1년 넘게 걸리던 거래가 2~3개월 만에 이루어지고 있고, 그 규모도 과거보다 훨씬 커지고 있습니다.

<b> [ 기업당 LLM에 사용한 비용 ]</b>
 [ 기업당 LLM에 사용한 비용 ]

 

2. 이젠 일회성이 아닌, 지속적인 비용으로 자리잡은 AI

2023년에는 생성형 AI 비용의 상당 부분이 "혁신" 및 “기타 일회성 자금” 풀에서 나왔는데요. 2024년에 달라진 점은 상당수의 기업들이 생성형 AI 비용을 일회성이 아닌, 영속성이 띄는 소프트웨어 지출 항목으로 예산을 배정했다는 점입니다. 오직 조사한 기업의 25% 미만이 2024년 생성형 AI 지출이 “혁신” 예산에서 나올 것이라고 응답했습니다.

훨씬 더 작은 규모이지만, 일부 기업의 경우 생성형 AI의 예산을 CS 영역의 인력 절감에 배치하기 시작했습니다. 만약 이 추세가 지속된다면, 향후 생성형 AI에 대한 지출은 훨씬 더 크게 증가할 것으로 예상됩니다. 한 회사는 LLM 기반 고객 서비스를 통해 1회의 콜 당 약 $6를 절약했고(이전 대비 약 90% 비용 절감) 생성형 AI 투자를 8배 늘리는 이유라고 언급했습니다.

<b>[AI 투자 비용 예산 항목]</b>
[AI 투자 비용 예산 항목]

 

3. ROI는 아직 주관적

ROI 측정은 어떻게 하고 있을까요?

지금은 주로 생산성 향상의 측면으로 ROI를 측정하고 있습니다. NPS와 고객 만족도도 대리 지표로 사용하고 있지만, 사용 사례에 따라 매출, 비용 절감, 효율성 및 정확성 향상과 같이 실질적인 수익 측정 방법도 모색하고 있습니다.

그러나 아직은 직원들이 “AI 덕분에 생산성이 늘었다”고 말하면 믿는 수준으로, 객관적인 지표로 AI 투자에 대한 ROI를 판단하기보단 직원들의 주관적 의견으로 판단하고 있습니다.

지금은 AI도입 후 수익을 정량화 하기 위한 최선의 지표를 찾고 있는 단계이고, 향후 2~3년 동안 ROI는 점점 더 중요해질 것 같습니다. 

<b>[ LLM의 ROI를 측정하는 방법 ]</b>
[ LLM의 ROI를 측정하는 방법 ]

 

 

4. 사내용 생성형 AI를 구현만을 위한 인력 부족

개인용 생성형 AI 툴과 달리, 사내용 생성형 AI 솔루션을 대규모로 쓰는 것은 API만 쓴다고 해결되는 문제는 아닙니다. AI 솔루션을 사내에 구축하는 인프라 부터, 유지 관리, 확장까지 사내용 생성형 AI 솔루션을 위한 전문화된 인재가 필요합니다.

AI 솔루션 구현 비용은 2023년 한 해동안 AI와 관련된 지출 중 비중이 큰 영역이었고, 경우에 따라 예산의 대부분을 차지하기도 했습니다. 한 임원은 "LLM API 비용은 실사용될 사내 솔루션을 개발하는 데 들어가는 비용의 4분의 1 정도에 불과하다"면서 개발 비용이 예산의 대부분을 차지한다고 언급했습니다.

때문에 기반 모델을 제공하는 AI 업체들은 엔터프라이즈 고객을 위해 맞춤형 모델 개발과 관련된 전문 서비스를 제공하고 있습니다. 이런 맞춤형 서비스에 대한 부분이 2023년 AI 모델 회사의 수익 중 상당 부분을 차지했을 것이고, 모델의 성능 이외에도 선택에 중요한 요인 중 하나입니다.

기업에서 적합한 생성형AI 인재를 확보하기는 어려움이 많기 때문에 생성형 AI 개발을 사내 시스템에 쉽게 도입하게 만드는 도구를 제공하면 확실히 경쟁력을 갖출 수 있을거에요.

 

AI 모델 춘추 전국 시대

5. 모델은 3개 이상

불과 6개월 전만 해도, 대부분의 기업이 1개(주로 OpenAI) 또는 최대 2개의 모델을 테스트했었는데요. 요즘은 상황이 달라지고 있습니다. 93% 기업들은 3개 이상의 모델을 테스트해보고 있고, 일부는 실제로 사용되고 있습니다.


  • 성능, 크기, 비용 등을 고려해 사용 사례에 따라 가장 적합한 모델을 선택할 수 있습니다.

  • 특정 모델에 종속되는 것을 피할 수 있습니다.

  • 빠르게 변화하는 분야의 발전을 신속하게 활용할 수 있습니다. 이 점은 특히 중요했는데, 모델 순위가 계속 바뀌고 있는 상황이기 때문에 최상의 결과를 얻기 위해 최첨단 모델과 오픈 소스 모델을 모두 사용하는 방법을 선호하고 있어요.

<b>[ 사용 사례에 적용된 모델 제공 업체의 수 ]</b>
[ 사용 사례에 적용된 모델 제공 업체의 수 ]

 

앞으로 더 많은 모델이 확산될 것 같습니다. 어떤 모델을 사용하고 있는지 조사한 아래 그래프를 보면, 앞으로 기업들이 실제 업무에 어떤 모델을 사용하게 될 지 선행 지표를 확인할 수 있는데요. 테스트 단계에서 좋은 성능을 보이는 모델들이 앞으로 실제 사용까지 배포될 가능성이 높기 때문이죠.

현재 사용되고 있는 모델만 보면, 예상대로 OpenAI가 여전히 압도적인 시장 점유율을 보이고 있어요. 그러나 동시에 기업들이 OpenAI 이외의 다양한 모델들도 적극적으로 테스트하고 있다는 점에도 주목해야 합니다. 이는 향후 시장 지형에 변화가 있을 수 있음을 시사하기도 합니다. 특정 모델이 특정 사용 사례에 더 적합하다는 것이 입증된다면, 해당 모델의 점유율이 높아질 수 있기 때문이죠. 이 과정에서 시장 점유율 지형에도 변화가 있을 수 있을 것입니다. OpenAI의 우위가 당분간 지속되겠지만, 다른 강자들의 등장 가능성도 배제할 수 없어 보입니다.

<b>[ 기업이 사용하는 모델 (실활용/테스트) ]</b>
[ 기업이 사용하는 모델 (실활용/테스트) ]

 

6. 모델은 쉽게 바꿀 수 있게

대부분의 기업은 API만 갈아끼우면 모델을 쉽게 바꿀 수 있도록 프로덕트를 설계하고 있습니다.

버튼만 누르면 변경 사항이 적용될 수 있게끔 프롬프트 사전 세팅을 하고 있고, 필요에 따라 모델을 바꿔 다른 앱에 쉽게 배포할 수 있도록 AI 모델 관리 시스템을 구축하기도 합니다. 회사들이 여러개의 모델을 복합적으로 사용하는 접근 방식을 취하는 데는 두 가지 이유가 있습니다.


  1. 클라우드 시대에 배운 교훈 때문입니다. 많은 기업들이 특정 클라우드 공급자에 대한 의존도가 높아지면서 어려움을 겪었습니다. 때문에 특정 업체에 대한 의존도를 줄일 필요성을 절감한 것이죠.

  2. 시장이 너무 빠르게 진화하고 있기 때문입니다. AI 모델과 기술은 급속도로 발전하고 있으니, 한 업체에 올인하는게 현명하지 않은거죠.

 

7. 잘나가는 오픈소스 모델

지난 6개월 동안 가장 놀라운 변화는 오픈 소스 모델이 잘나가고 있다는 겁니다.

a16z의 추정에 따르면 2023년에는 80% ~ 90%가 폐쇄형 모델, 그 중에서도 대부분은 OpenAI를 사용했었는데요. 2024년 조사에서는 응답자의 46%가 오픈 소스 모델을 선호하거나 강력히 선호한다고 밝혔습니다.

경영진의 82%가 파인 튜닝된 오픈소스 모델이 폐쇄형 모델의 성능을 따라잡았을 때, 오픈 소스 사용량을 늘리거나 전환하고 싶다는 의사를 밝히고 있고요. 때문에 2024년 이후에는 기업들도 상당수가 오픈소스로 전환할 수 있다고 예상하고 있습니다. 일부 기업은 1:1 비율을 목표로 하고 있는데요, 2023년에는 8:2로 폐쇄형이 많았던 것을 생각하면 오픈 소스에 대한 선호도가 상당히 커졌다는 것을 확인할 수 있습니다.

<b>[ 2024년 이후 기업 대상 오픈 소스 사용 계획 ]</b>
[ 2024년 이후 기업 대상 오픈 소스 사용 계획 ]

 

 

8. 오픈 소스 모델 도입의 이유

오픈 소스 모델을 채택하는 주된 이유는 비용이 아니라 컨트롤과 맞춤화였습니다.



  • 컨트롤: 사내 데이터 보안, 모델이 특정 결과를 생성하는 이유 확인


  • 맞춤화: 특정 사용 사례에 효과적으로 파인튜닝

비용이 최우선 고려 사항이 아니라는 점이 놀라웠지만, 생성형 AI로 창출되는 초과 가치가 가격을 훨씬 능가할 것이라는 리더십의 확신을 반영하는 것이기도 합니다. 한 임원은 "정확한 답을 얻는 것은 비용을 지불할만한 가치가 있다"고 설명했습니다.

<b>[ 기업이 오픈 소스를 도입하는 이유 ]</b>
[ 기업이 오픈 소스를 도입하는 이유 ]

 

 

9. 우리 데이터를 다른 데 넘길 순 없지

기업들은 여전히 회사의 데이터를 다른 모델 제공 업체에 공유한다는 것에 대해 리스크가 있다고 판단하고 있습니다. 규제나 보안에 대한 우려가 있는거죠. 당연히 IP가 비즈니스 모델의 중심인 회사들은 특히 더 데이터를 다른 기업에 제공하는 보안 문제에 민감합니다.

일부 경영진들은 오픈 소스 모델을 직접 호스팅하면서 이러한 고민을 해결하고 있고, 가상 사설 클라우드(VPC) 통합이 있는 모델을 우선시하고 있다고 언급했습니다.

 

10. 모델 구축보단 파인 튜닝 + RAG

2023년에는 BloombergGPT와 같은 맞춤형 모델 구축에 대한 논의가 많았습니다. 2024년에도 여전히 맞춤형 모델에 관심이 있지만, 오픈 소스 모델의 성능이 좋아지면서 대부분은 처음부터 자체 LLM을 학습시키기보다 검색 증강 생성(RAG:Retrieval-Augmented Generation) 기술을 사용하거나 특정한 요구사항에 맞게 오픈소스 모델을 파인튜닝하는 방향을 선택하고 있습니다.

RAG이란, LLM 생성 능력을 외부 지식 검색을 통해 강화하는 방법입니다. 전통적인 언어 모델은 학습 과정에서 얻은 지식만을 사용하여 텍스트를 생성합니다. 이런 방식은 모델이 학습 과정에서 접하지 못한 새로운 정보나 최신 정보를 다루기 어렵다는 한계가 있는데요, RAG는 이런 한계를 극복하기 위해 도입된 개념입니다. RAG 모델은 텍스트 생성 과정에서 외부 지식 소스(예: 웹 페이지, 책, 기사 등)를 검색하고, 검색된 정보를 활용하여 더 정확하고 풍부한 텍스트를 생성합니다.

RAG의 작동 방식은 다음과 같습니다:


  1. 질문이나 프롬프트가 주어지면, RAG 모델은 이를 분석하여 관련 정보를 외부 지식 소스에서 검색합니다.

  2. 검색된 정보 중 질문에 대한 답을 포함할 가능성이 높은 부분이 선택됩니다.

  3. 선택된 정보는 언어 모델에 입력되어, 최종 답변 텍스트 생성에 활용됩니다.

  4. 생성된 텍스트는 원래의 질문이나 프롬프트에 대한 답변이 됩니다.

이러한 과정을 통해 RAG 모델은 학습 과정에서 접하지 못한 새로운 정보도 활용할 수 있게 되며, 이는 모델의 지식 범위를 크게 확장시킵니다.

RAG는 질의응답, 대화, 요약 등 다양한 분야에 활용될 수 있고, 특히 최신성과 정확성이 중요한 분야에서 큰 강점을 발휘할 수 있습니다. 다만 외부 지식 검색과 통합이라는 추가 단계로 인해 연산량이 증가할 수 있다는 점은 고려해야 할 사항입니다.

<b>[ 기업이 맞춤형 모델을 구현하는 방법 ]</b>
[ 기업이 맞춤형 모델을 구현하는 방법 ]

 

11. 클라우드와 모델은 한 세트

2023년에는 많은 기업들이 보안상의 이유로 기존 클라우드 서비스 제공 업체를 통해 모델을 구매했는데요. 클라우드 서비스 제공 업체에 대한 우려보다는, 폐쇄형 모델이 데이터를 잘못 처리하는 것에 대해 더 걱정이 컸습니다. 클라우드 서비스와 연동된 모델을 쓰면 긴 구매 절차를 피할 수 있는 것도 장점이었구요.

2024년에도 이런 경향은 계속되고 있습니다. 이로 인해 클라우드 서비스 제공 업체와 기업이 선호하는 AI 모델 간에는 상당한 상관관계가 나타납니다. Azure 사용자들은 일반적으로 OpenAI를 선호하고, AWS 사용자들은 Anthropic이나 Cohere를 선호하는 식입니다.

아래 차트에서 볼 수 있듯이 AI모델 API를 사용하는 기업의 72% 중, 절반 이상이 MS, AWS 등에서 호스팅하는 모델을 사용했습니다. 한편, 응답자의 4분의 1 이상은 자체 호스팅을 한 것으로 나타났는데, 이는 오픈 소스 모델을 운영하기 위한 것으로 보입니다.

<b>[ LLM을 호스팅 하는 곳 ]</b>
[ LLM을 호스팅 하는 곳 ]

 

 

12. 모델 성능 만큼, [기능]도 중요합니다.

모델을 채택하는 주요 요인으로,


  • 1)추론 능력

  • 2)신뢰성

  • 3)용이성(예: 클라우드 연결)를 꼽았는데요.

한 가지 더 하자면 4) 차별화된 기능도 매력 포인트가 됐습니다.

예를 들어, 여러 경영진들은 Anthropic을 채택한 주요 이유로 200K 컨텍스트 윈도우(context window)를 꼽았습니다. 컨텍스트 윈도우란 모델이 한 번에 처리할 수 있는 텍스트의 길이를 말하는데요. Anthropic 모델은 긴 문맥을 이해하고 처리하는 데 강점이 있음을 의미합니다.

Cohere를 선택한 케이스도 있는데요, Cohere는 파인 튜닝에 강점이 있거든요. Cohere는 파인 튜닝을 경쟁사보다 먼저, 그리고 더 사용자 친화적인 형태로 제공했습니다.

 

13. 성능의 기준은 파인튜닝

기술 커뮤니티에서는 사람들이 AI 모델의 성능을 공개 벤치마크와 비교하는 데 주목하는 반면, 경영진은 좀 더 좁혀서 비교합니다.

파인 튜닝된 오픈 소스 모델과 폐쇄형 모델의 성능을 자체 내부 벤치마크 세트와 비교하는거죠. 흥미로운 점은, 폐쇄형 모델이 외부 벤치마킹 테스트에서 일반적으로 더 나은 성능을 보임에도 불구하고, 경영진들은 오픈 소스 모델에 상대적으로 높은 NPS(순 추천 지수)를 부여했다는 점입니다. 심지어 일부 경우에는 더 높은 점수를 주기도 했죠. 그 이유는 오픈 소스 모델이 특정 사용 사례에 맞게 파인튜닝하기 더 쉽기 때문입니다.

"파인튜닝된 Mistral과 Llama가 OpenAI만큼 성능이 좋지만 훨씬 더 저렴하다"

이러한 기준으로 볼 때, 모델의 성능은 우리가 예상했던 것보다 더 빠르게 상향 평준화되고 있습니다. 기업이 선택할 수 있는 매우 유능한 모델의 범위가 더 넓어졌다는 거죠.

<b>[ 기업에서 모델 성능을 평가하는 방법 ]</b>
[ 기업에서 모델 성능을 평가하는 방법 ]

 

<b>[ 주요 모델별 평균 NPS ]</b>
[ 주요 모델별 평균 NPS ]

 

기업용 AI 사례

14. 사내 AI 서비스, 자체 개발 > 구매하기

대부분의 기업은 사내에서 AI 애플리케이션을 직접 구축하는 데 집중하고 있습니다. 그 이유 중 하나는 검증된 기업용 AI 솔루션이 부족하기 때문입니다. 아직 기업용 AI 솔루션들에 대한 매직 쿼드런트(Gartner의 평가 도구)가 없다는 것이 이를 보여줍니다.

또 기반 모델들이 API를 제공하면서, AI 개발에 대한 장벽을 낮췄기 때문에, 자체 AI 앱을 개발하는게 여러모로 유리해졌습니다. CS, 내부 챗봇과 같은 분야는 이미 많은 기업들이 개발해서 쓰고 있고, 식품/음료/화장품과 같은 분야의 레시피를 만들거나, 제약/화학 회사에서 분자 발견의 범위를 축소한다거나, 추천 상품의 고도화를 하는 등 다양한 업계에서의 새로운 사례도 시도되고 있습니다.

하지만 계속 기업용 AI 서비스가 시장에 나오고 있는 만큼, 이런 상황은 금방 바뀔 수도 있습니다.

사내에서 자체적으로 AI 프로덕트를 개발하고 있지만 "새로운 도구들이 나올 것"이라는 점을 낙관하며 "최고의 것을 사용하고 싶다"고 생각하는 기업들이 많습니다. 필요한 특정 기능에 맞는, 성능 좋은 AI 솔루션을 골라서 사내로 도입할 날을 기다리고 있기도 하구요.

이러한 역학 관계를 감안할 때, 우리는 "LLM + UI" 공식을 넘어, 기업의 업무 프로세스를 혁신적으로 효율화시키거나 기업이 고유 데이터를 더 잘 활용할 수 있도록 돕는 기업용 AI 서비스가 이 시장에서 특히 좋은 성과를 거둘 수 있을 것 같습니다.

 

15. 사내에는 얼마든지, 그러나 아직 고객에게는…

기업은 고객 대상 서비스에 AI를 도입하는 데는 훨씬 더 조심스럽습니다.


  1. AI의 환각(hallucination, 근거 없는 내용 생성)과 안전성 이슈

  2. AI를 도입하면서 생길 수 있는 대중과의 관계 문제, 특히 의료나 금융 같은 민감한 소비자 분야에서의 이슈

지난 1년간 가장 인기 있던 AI 활용 사례는 내부 생산성에 초점을 맞추거나, 고객에게 전달되기 전에 사람이 한 번 거치는 형태였어요. 코딩 코파일럿, 고객 지원, 마케팅 등이 대표적인 예입니다. 2024년에서도 여전히 기업에서는 이런 사례들이 주를 이룹니다.


  • [고활용] 텍스트 요약이나 지식 관리(예: 내부 챗봇) 같은 완전히 내부적인 사례

  • [중활용] 고객 지원, 마케팅 카피라이팅, 소프트웨어 개발

  • [저활용] 계약 검토 같이 사람이 반드시 거쳐야 할 민감한 사례 / 추천 알고리즘 같은 고객 대상 사례

기업들은 에어 캐나다 AI 챗봇 CS 사고 같은 AI 관련 문제의 후폭풍을 피하고 싶어 합니다. 이런 우려가 대부분의 기업에 여전히 큰 영향을 미치고 있기 때문에, 이런 이슈를 통제하는 데 도움이 되는 도구를 만든다면, 크게 주목받을 수 있을겁니다.

<b>[LLM을 어떤 용도로 쓰고 싶은가요]</b>
[LLM을 어떤 용도로 쓰고 싶은가요]

 


⏳ 바쁜 구독자님을 위한 요약


  1. 회의론자들은 자율주행으로 치면 Level 1에 불과한 지금의 AI가 과연 기업의 생산성과 사업성에 실질적인 가치를 주는게 맞는지 의문을 제기했습니다.

  2. 아직 AI 투자에 대한 ROI는 객관적인 지표보다 생산성 향상에 대한 직원들의 주관적 의견으로 판단되고 있습니다. 그러나 향후 2~3년 안에 매출, 비용 절감, 효율성 등 실질적인 수익 측정의 방식도 점점 더 중요해질 것 같습니다.

  3. 기업용 생성형 AI 솔루션만을 위한 전문 인재를 확보하기에 현실적인 어려움이 있기 때문에, 기반 모델 업체에서는 맞춤형 모델 개발을 위한 전문 서비스를 제공하고 있고, 수익의 상당 부분을 차지하고 있기도 합니다.

  4. 불과 6개월 전만해도 대부분의 기업이 1~2개의 모델만 테스트했지만, 요즘에는 93%의 기업이 3개 이상의 모델을 테스트하고 사용하고 있습니다. 오픈AI 모델이 현재 높은 시장 점유율을 보이고 있기는 하지만, 다양한 모델들도 테스트되고 있기 때문에 향후 시장 지형에 변화가 있을지도 모릅니다.

  5. 특정 업체에 대한 의존도를 조정하고, 시장 변화에 빠르게 대응한다는 차원에서, API만 갈아끼우면 모델을 쉽게 바꿀 수 있도록 프로덕트를 설계하고 있습니다.

  6. 오픈 소스 모델에 대한 선호도 및 실제 도입이 계속 높아지고 있습니다. 오픈 소스 모델을 도입하는 주된 이유는 비용이 아니라, 컨트롤과 맞춤화 때문인데요. 오픈 소스 모델이 모델에 대한 통제권을 더 가질 수 있고, 보안에도 유리하게 조정할 수 있거든요.

  7. 기업들은 여전히 회사의 데이터를 다른 업체에 공유한다는 것에 대한 리스크가 있다고 판단하는데요. IP가 비즈니스 모델의 중심인 회사들은 특히 더 데이터 보안에 민감합니다.

  8. 맞춤형 모델을 0부터 직접 학습시키기보다, 파인튜닝과 RAG(검색 증강 생성 - 검색과 결합된 생성형 AI) 기술을 활용을 선호하는 추세입니다.


  9. 클라우드 서비스와 모델은 한세트입니다. Azure 사용자는 일반적으로 OpenAI를, AWS 사용자는 Anthropic이나 Cohere를 사용합니다.

  10. 모델을 채택하는 주요 요인은 추론 능력, 신뢰성, 용이성이며, 클로드의 긴 컨텍스트 / Cohere의 파인 튜닝 등 차별화된 기능도 매력 포인트가 됐습니다.

  11. 파인튜닝이 된 Mistral과 Llama가 OpenAI만큼 성능이 좋지만 훨씬 더 저렴합니다.

  12. 검증된 기업용 AI 솔루션이 아직 부족합니다. 기업의 업무 프로세스를 효율화 시키거나 기업의 데이터를 잘 활용할 수 있도록 하는 AI 서비스를 부디 기다립니다.

  13. 기업들은 사내에 AI를 도입하여 생산성을 높이는 영역에는 적극적이지만, 그에 비해 고객 대상 서비스에는 AI 도입을 조심스러워하는 경우가 많습니다. 할루시네이션이나, 민감성이 높은 사안에 대한 AI 문제의 후폭풍을 피하고 싶거든요. 때문에 이런 이슈를 통제하는 데 도움이 되는 도구를 개발한다면, 크게 주목받을 수 있을겁니다.


이 글은 [오너의 아싸이트] 에서 발행되었습니다. 
여러 분야의 경계에서 새로운 것을 만드는 오리너구리들을 위한 이야기를 발굴합니다. 
[👉 구독하러 가기]

링크 복사

최정연 엔씨소프트 · Product Manager

사업기획자의 관점에서 AI를 해석하는 글을 써보려합니다

댓글 1
최정연 님의 아티클이 EO 뉴스레터에 소개됐습니다! 이번 주 이오레터를 확인해보세요.

https://stib.ee/CovB
추천 아티클
최정연 엔씨소프트 · Product Manager

사업기획자의 관점에서 AI를 해석하는 글을 써보려합니다

1