안녕하세요 MARK 입니다 :)

2번째 뉴스레터를 발행하고 2달만에 찾아 뵙습니다

3번재 뉴스레터를 기획하고 고민하였습니다 

좀더 다양한 직업에 대한 인터뷰와 내용들을 다룰수 없을까하고 말입니다 

그래서 저는 이번 뉴스레터에서는  

CHATGPT로 유명한 OPEN AI 의 CEO 샘 올트먼이 아니라 

OPEN AI 의 일하고 있는  유능한 여성 엔지니어 JANVI KARLA에 대한 팟캐스트 인터뷰

내용을 소개해보려 합니다 

그리고 제 뉴스레터 입니다 :)

잠깐 시간나실때  한번씩 들어와주셔서 구독해주시면 큰 힘이 될거 같습니다 

https://maily.so/jmarknews

2025년 5월 에 진행된 팟캐스트 인터뷰입니다

진행자 : 현재 OpenAI에서 AI 엔지니어로 일하고 있는 Janvi Kalra를 모셨습니다.

Janvi는 대학 시절 Google과 Microsoft에서 인턴십을 경험하며 테크 업계에 발을 들였고,졸업 후에는 Coda에서 소프트웨어 엔지니어로 커리어를 시작했습니다.그리고 이후에는 야근·주말을 활용한 사이드 프로젝트,각종 해커톤 참가,스스로 만든 실험적 AI 프로젝트들을 통해직접 자신의 역량을 증명하며Coda의 첫 AI 엔지니어링 팀에 합류하게 됩니다.

이번 대화에서는 AI 엔지니어링의 ‘현실’에 깊게 파고들며,AI 회사들을 어떤 기준으로 평가해야 하는지,또 AI 엔지니어로 커리어를 전환하려는 사람들에게실제로 도움이 되는 조언들을 공유합니다.

💬 이번 에피소드에서 다루는 주요 내용

Google·Microsoft 인턴십을 따낸 과정, 그리고 Janvi가 추천하는 코딩 인터뷰 준비법

AI 스타트업을 평가하는 프레임워크: 성장성, 수익성, 시장, 고객 충성도 등

AI 엔지니어의 역할에 대한 현실적인 설명

AI를 독학하는 데 실제로 효과 있었던 미니 커리큘럼(Janvi가 해커톤과 사이드 프로젝트로 익힌 실전 스킬 포함)

Janvi가 만든 프로토타입이 CEO Shishir Mehrotra를 놀라게 했고이후 Coda Brain이라는 두 번째 제품이 탄생하게 된 스토리

OpenAI에서 Safety 팀이 어떤 일을 하는지,그리고 책임감 있는 AI를 구축하기 위한

내부 프로세스

OpenAI가 스타트업의 속도 + 빅테크의 스케일을 동시에 운영하는 방식

왜 AI 엔지니어는 만들어둔 코드를 언제든 버릴 준비가 되어 있어야 하는지

왜 오늘날 엔지니어에게제품 감각·디자인 감각·풀스택 사고·비즈니스 임팩트 중심 사고가 필수인지 그리고 이 외에도 매우 많은 인사이트가 있습니다 

Q: 46개 회사에 면접을 봤다고요?시장 분위기나 인터뷰 과정, 전체적인 판세를 어떻게 느끼셨나요?

Janvi: AI 회사들을 보면 크게 세 유형으로 나눌 수 있어요.

첫째는 제품 회사들, 둘째는 인프라 회사들, 셋째는 모델 회사들.

저는 이 틀로 회사를 분류하고, 그 중 어떤 분야가 나와 가장 잘 맞는지 판단했어요.지금은 AI 회사가 너무 많아서 이렇게 분류하지 않으면 선택지가 너무 넓거든요.

🔶 제품·인프라·모델 회사 구분

Janvi: 제품 회사는 모델 위에 제품을 올리는 회사예요.Cursor, Codium, Hebia 같은 곳이죠.

인프라 회사는 제품 회사가 LLM을 더 잘 쓸 수 있도록 돕는 회사예요.

예를 들면:

추론(Inference) 제공하는 Modal, Fireworks

벡터 DB: Pinecone, ChromaDB, Weaviate

평가/옵저버빌리티: Braintrust, Arize, Galileo 등

그리고 마지막으로 모델 회사는 생태계의 가장 바닥에서 ‘지능’을 만드는 회사들입니다.Google, Meta 같은 빅테크가 있고,OpenAI, Anthropic 같은 (이제는 스타트업이라 하긴 어렵지만) 작은 모델 회사들도 있어요.

🔶 내 선택 기준

Janvi: 저는 커리어에서 더 넓은 경험을 쌓고 싶었어요.

Coda에서 이미 제품 회사 경험은 충분히 했으니까,이번에는 모델 회사 혹은 인프라 회사를 중심으로 탐색했죠.

물론, 이건 경력적으로는 더 어렵고 도전적인 선택이에요.제가 했던 제품 기반의 경험은 모델이나 인프라 회사와 직접적으로 이어지지 않으니까요.

🔶 “AI 엔지니어는 무엇인가?”

Q: AI 엔지니어는 정확히 뭘 하는 역할인가요?

Janvi: AI 제품 엔지니어란 모델 위에 실제 제품을 만드는 사람이에요.한국식으로 말하면 ‘AI 기반 기능을 직접 구현하고 개선하는 엔지니어’죠.

주요 역할은 이런 것들이에요

새로운 모델이 나오면 테스트하고 실험

실제 고객 문제를 이 모델로 해결할 수 있는지 검증

프로토타입 → 프로덕션 구현

프롬프트 작업

파인튜닝

오픈소스 모델 호스팅

즉, 기반은 여전히 소프트웨어 엔지니어링이고,그 위에 AI 도메인 지식을 추가로 쌓는 구조예요.

🔶 Janvi의 백그라운드

Q: Janvi는 어떤 커리어적 배경을 갖고 있나요? 4년 경력인데 꽤 다채로워 보이네요.

Janvi: 전 대학 때 대학 창업 인큐베이터에 참여하면서 유료 고객이 있는 모바일 앱을 네 개 만들었어요.그 뒤 Google, Microsoft 인턴,그리고 Coda에 소프트웨어 엔지니어로 합류했죠.

Coda에서는 첫 번째 AI 엔지니어 중 한 명이 되었고,46개의 AI 스타트업 면접을 경험한 뒤 지금은 OpenAI에서 일하고 있습니다.

🔶 Google/Microsoft 인턴 초기 이야기

Q: 어떻게 그렇게 큰 회사에서 인턴을 할 수 있었나요?Dartmouth에서도 모두가 들어가는 건 아니잖아요?

Janvi: 아는 사람은 아무도 없었어요.지원 포털에 그냥 지원했고, 회사에서 요구한 ‘에세이’를 정말 열심히 썼어요.

왜 여기서 일하고 싶은지

어떤 개인 프로젝트가 있는지이런 걸 자세히 적었죠.

그리고 정말 솔직히 말하면… 운이 좋았어요.일단 에세이로 서류 통과가 된 뒤엔 LeetCode 공부를 본격적으로 했습니다.

🔶 LeetCode 준비 시절

Janvi: 그때는 지금 같은 Blind 75 같은 것도 없었어요.“녹색 책”이라고 불리는 Cracking the Coding Interview가 거의 전부였어요.

그 책을 사서 방에 틀어박혀 문제를 가능한 한 많이 풀었죠.

Janvi:맞아요. 그 책이 사실상 인터뷰 준비 문화를 바꿨다고 생각해요.

🔶 Google·Microsoft 인턴 경험

Q: 인턴 기간은 어땠나요?

Janvi:정말 환상적이었어요.

첫 번째 이유는제가 존경하던 회사의 거대한 코드베이스를 직접 탐구할 수 있었기 때문이에요.

Google 검색팀에서 MoMA라는 내부 문서를 찾는 도구를 썼는데,주말에도 회사 문서를 읽으면서“Google 검색은 내부적으로 어떻게 돌아갈까?”를 계속 파고들었어요.

두 번째 이유는대학교에서는 접하지 못했던 실전적인 엔지니어링 문화를 배웠다는 점이에요.

대규모 코드베이스 운영

단위 테스트

코드 리뷰 문화

이런 것들이 모두 새롭고 인사이트가 넘쳤죠.

세 번째는경력 5~10년 선배들의 조언을 들을 수 있었던 커피챗이었어요.여기서 받은 조언이 제 진로 결정에 큰 영향을 줬습니다.

🔶 졸업 후 구글/마소 리턴 오퍼를 거절한 이유

Q :그렇게 좋은 경험을 하고도 왜 빅테크로 가지 않았나요?

Janvi:인턴 때 만난 선배들이“스타트업도 반드시 경험해봐라”라고 말해줬어요.

그래서 두 가지를 비교했습니다.

빅테크의 장점

초대형 트래픽 환경에서 안정성 중심의 개발 배우기

당장 돈 안 되는 혁신적인 프로젝트에도 참여 가능

고연봉, 빠른 비자/그린카드

레벨 자체의 브랜드 가치가 큼 (ex. L5 Google)

스타트업의 장점

더 많은 코드 작성

문제는 많은데 사람은 적어서 기회가 넘침

기획·PM·인프라 등 역할 확장

비즈니스 전체를 이해하면서 성장

저는 당시 빠른 성장을 원했기 때문에 스타트업을 선택했어요.

🔶 Coda를 선택한 이유, 스타트업을 고르는 기준

Q:스타트업 중에서도 왜 Coda를 선택했나요?단순히 “좋아 보여서” 간 건 아니었다고 했죠?

Janvi:맞아요. 저는 당시 스타트업 경험이 없었고 주변도 대부분 빅테크를 선택하는 분위기였어요.그래서 제가 세운 기준은 다음 두 가지였어요.

얼마나 똑똑하고 열정적인 사람들이 있는가

내가 제품을 진심으로 좋아할 수 있는가

왜냐면, 사람과 제품에 대한 애정이 있어야내가 어떤 문제든 끝까지 밀어붙일 수 있다고 생각했거든요.

하지만 실리콘밸리에 4년 살면서 기준이 더 발전했어요.이제는 스타트업 성장 가능성을 좀 더 구조적으로 평가합니다.

🔶 “성장할 스타트업을 어떻게 고르는가” — Janvi의 4가지 기준

Janvi :스타트업은 규모별로 리스크가 다르고,리스크가 크면 보상도 커지는 구조예요.

하지만 연봉을 깎고 스타트업으로 가는 엔지니어라면‘왜 이 회사가 성장할지’에 대한 논리가 반드시 있어야 해요.그건 스스로에게도, 회사에게도 공정한 거니까요.

제가 지금 사용하는 스타트업 평가 기준은 네 가지예요:

1) 높은 매출 + 가파른 성장률

단순히 “잠재력 있어요”가 아니라실제로 돈이 얼마나 들어오고 있고 빠르게 커지는지가 중요해요.

2) 큰 시장 규모

시장이 커야 회사도 그 안에서 성장할 공간이 생겨요.작은 시장이면 아무리 좋은 제품도 한계가 있거든요.

3) 미친 듯이 충성도 높은 고객

온라인 리뷰가 없으면 실제 고객에게 연락해 직접 물어봤어요“이 제품, 진짜 좋나요?”이게 진짜 중요한 지표예요.

4) 경쟁 속에서 왜 이 회사가 이길 것인가

그냥 “경쟁자가 많다”가 아니에요.왜 얘네가 이길 회사인지를 냉정하게 분석해야 해요.

🔶 고객 조사는 어떻게 하나?

Q : 그런 정보를 실제로 어떻게 얻었나요?

Janvi:직접 찾았어요.Reddit, YouTube, 트위터 등을 뒤지고B2B 제품은 그 제품을 쓰는 회사를 찾아가 연락해서 실제 사용자와 이야기했어요.

그리고 투자자에게도 물어봤어요.투자자들은 pitch deck을 다 보니까그 회사의 실상에 대해 더 잘 알고 있거든요.

🔶 면접관들이 “좋은 회사처럼 보이게” 말할 때의 경고

Janvi :특히, 스타트업 CEO가“우린 곧 매출이 터질 거예요”라고 말할 때이걸 그대로 믿으면 안 돼요.

확실한 증거, 실제 고객 반응, 재무 지표가 있어야 해요.

실제로 많은 엔지니어들이화려한 슬라이드에 속아 회사에 합류했다가 크게 후회했어요.

우린 회사의 투자자이기도 하니까정말 꼼꼼하게 확인해야 해요.

🔶 면접 프로세스 — 46곳을 돌며 배운 점

Q:이제 진짜 궁금한 건 ‘면접 과정’.AI 엔지니어로 46개 회사를 돌았을 때 어떤 경험을 했나요?

Janvi:6개월 동안 인터뷰했어요.처음 3개월은 LeetCode랑 시스템디자인 준비가 부족해서 계속 떨어졌고,그 뒤부터 합격률이 올라갔죠.

하지만 시간이 오래 걸린 이유는AI 스타트업 시장이 너무 시끄럽기 때문이에요.

진짜 가능성 있는 회사와겉만 화려한 회사를 구분해야 했고,저는 “헉, 이 회사다!”라는 느낌이 오지 않으면합격이어도 가지 않았어요.

한 선배가 이렇게 말했거든요:

“헉, 이 회사다! 가슴이 뛰지 않으면 가지 마라.돈이 조금 들더라도 기다려라.그게 너에게도, 회사에게도 공정하다.”

그래서 저는 계속 인터뷰를 이어갔어요.

🔶 세 가지 AI 회사 유형과 면접 분위기 차이

1) 제품 회사

빠르게 배포하고 실험

팀이 작고 스피드가 빠름

제가 Coda에서 했던 일과 비슷한 영역

2) 인프라 회사

엔지니어링 난이도 높음

수익 구조(마진), GPU 비용 등을 철저히 계산해야 함

엔지니어에게 팔기 어려워서 정말 뛰어나야 함

3) 모델 회사

GPU 비용을 감당할 수 있을까?

오픈소스 모델과 경쟁에서 이길 수 있을까?이게 핵심 평가 포인트였어요.

🔶 면접 난이도와 유형

Janvi :AI 엔지니어 면접이라고 해서 특별한 유형은 없었어요.오히려 더 혼란스러웠어요.

LeetCode 문제 → 여전히 매우 자주 등장

시스템 디자인

프론트엔드/백엔드 문제

하루 만에 작은 제품 만들어 제출하는 ‘프로젝트 면접’ ← 이게 가장 좋았어요

솔직히 AI가 발전했는데아직도 LeetCode를 계속 시키는 건 좀 이상해요.하지만 제가 선택하는 게 아니니까요.

🔶 내가 사용한 인터뷰 준비 자료

NeetCode 강의 (LeetCode 대비 최고)

The Great Frontend (프론트엔드 면접 대비)

Alex Xu의 시스템디자인 책 2권

회사별 내부 코드 읽기 + 개인 프로젝트 경험

🔶 OpenAI 최종 합류

진행자: 그래서 결국 OpenAI에 합류했죠?축하해요.

Janvi :고마워요!지금은 OpenAI의 Safety 팀에서 일하고 있어요.

🔶 OpenAI Safety 팀에서 하는 일

Janvi :우리 팀은 OpenAI의 미션 중“AGI가 전 인류에 이롭게 작용하도록 한다”에서“전 인류에 이롭게”라는 후반부를 책임지는 팀이에요.

주요 업무는:

1) 저지·분류 모델 개발

모델이나 사용자가 위험한 행동을 할 때실시간으로 감지하고 차단하는 초소형·초저지연 모델들.

이걸 위해 데이터 수집

파이프라인 구축

모델 훈련 및 운영

2) ‘현실 세계에서의 위험’ 탐지

모델이 점점 똑똑해지면서새로운 형태의 공격이나 탈옥(jailbreak)이 생기는데,이걸 탐지하고 분류합니다.

3) OpenAI의 모든 제품에 안전장치 적용

OpenAI는 제품 출시 속도가 매우 빠르잖아요.거의 모든 제품에 Safety 팀이 연동돼요.덕분에 항상 바빠요.

🔶 OpenAI는 무엇이 다른가?

Q:Google, Microsoft, Coda를 거쳤잖아요.OpenAI는 뭐가 그렇게 달라요?

Janvi :가장 큰 차이는 두 가지예요.

1) 스피드 + 스케일이 동시에 존재

일반적으로 두 가지는 반비례해요.

스타트업 = 빠름, 하지만 스케일은 적음

빅테크 = 스케일 큼, 하지만 느림

OpenAI는 둘 다 있음.

제가 일하는 서비스는 초당 6만 건 요청이 와요.이 규모에서 이렇게 빠르게 배포하는 회사는 본 적이 없어요.

2) 투명하고 개방적

사람들이 “왜 이 설계를 했는지”를 매우 솔직하게 공유해요.덕분에 정말 많이 배우고 있어요.

3) 미션 중심 + 열정적인 사람들

사람들이 진짜 ‘일류’예요.정말 진심으로 AGI를 책임감 있게 만들려고 해요.

🔶 OpenAI가 이렇게 빠르게 배포 가능한 이유

Janvi :시스템이 ‘빠르게 배포하도록’ 설계돼 있어요.

예를 들면:

예전엔 stat-sig 변경을 승인 없이도 할 수 있었음

지금은 리뷰 1개만 필요함

초당 6만 요청을 받는 서비스도 ‘리뷰 1개면 배포 가능’

엔지니어에게 신뢰를 많이 줘요.그만큼 책임도 크지만요.

🔶 AI 엔지니어링을 하며 새롭게 깨달은 점들

Q:AI 엔지니어링은 아직 새 분야인데,실제로 들어와 보니 예상 밖이었던 점이 있었나요?

Janvi :가장 놀랐던 건, AI 엔지니어링의 본질은‘모델의 한계를 보완하는 엔지니어링’을 계속해서 반복하는 작업이라는 점이에요.

모델이 발전하면?

→ 기존에 쌓아둔 많은 엔지니어링을 전부 뜯어고쳐야 해요.

예를 들어 Coda에서 있었던 일:

1) (초기) “function calling”이 없던 시절

우리는 LLM에게 JSON을 만들어 달라고 프롬프트를 주고그 JSON을 파싱해서 실제 기능을 실행했어요.

2) function calling 등장

→ 기존 JSON 방식 다 버리고 function calling 기반으로 전면 재구현.

3) function calling이 모델 업데이트로 깨지기도 함

→ 안정적으로 쓰기 위해 추가적인 guardrail(안전 장치)을 만들어야 했음.

4) 이후 OpenAI가 MCP(Multi-Client Protocol) 도입

→ 이제 MCP 기반으로 다시 전부 바꿔야 했어요.

J:결론적으로 “지금 맞다고 생각했던 방법”이6개월 뒤엔 폐기되는 일이 흔해요.변화 속도가 너무 빠르거든요.

그리고 이런 환경에선코드에 집착하면 안 돼요.언젠가 사라질 운명이니까요.

🔶 AI로 인해 개발자가 더 ‘마법사’가 되는 시대

Q :이게 참 흥미로운 게,이런 변화를 빠르게 흡수하는 사람이 “좋은 엔지니어”가 되는 거 같아요.

Janvi: 맞아요.AI 덕분에 개발자는 정말 마법사처럼 되었다고 봐요.

예를 들어:

원하는 기능을 자연어로 설명하면

모델이 코드의 초안을 만들어 주고

엔지니어는 핵심 구조/아키텍처만 잡아주면 되요

그런데 이때 필요한 능력이 있어요

“전체 시스템을 머릿속에 그리고,정확한 프롬프트로 모델에게 지시하는 능력”

이건 사실 상급 엔지니어들이 해왔던 “zoom-out/zoom-in 능력”과 같아요.

🔶 신입/주니어는 AI 시대에 불리한가?

Q:요즘 분위기 보면10년 차 개발자들은 “신입들에게 너무 힘든 시대다”라고 말하고,또 어떤 사람들은 “주니어를 AI가 대체할 것이다”라고 하잖아요.Janvi는 어떻게 보세요?

Janvi:전혀 그렇게 생각하지 않아요.

오히려 주니어를 더 빠르게 성장시키는 도구가 AI예요.

그리고 저는 “두 종류의 엔지니어”가 생길 거라고 생각해요.

1) AI로 학습을 더 빨리 하는 사람

2) AI로 ‘학습을 회피’하는 사람

두 유형 모두 존재할 텐데진짜 중요한 건 상황에 따라 올바른 방식을 선택하는 능력이에요.

🔸 예: 학습을 생략해도 되는 경우

그린필드 아이디어 테스트

“이런 기능 만들면 되나?”를 검증→ 이럴 땐 AI가 빨리 만들어주는 게 훨씬 효율적임

🔸 예: 절대 학습을 회피하면 안 되는 경우

내가 책임지고 운영해야 하는 서비스

장애(세브) 대응해야 하는 시스템→ 이건 근본적인 시스템 이해 없이는 절대 해결 못함

즉, 언제 AI를 쓰고 언제 직접 배워야 하는지 구분하는 것이미래 개발자의 핵심 역량이에요.

🔶 AI 시대에 변하지 않는 개발자의 핵심 역량들

진행자 :그렇다면 AI가 와도 절대 변하지 않는 개발자의 능력은 뭐라고 보나요?

Janvi:다음 네 가지는 AI가 와도 절대 바뀌지 않아요.

1) 시스템 설계 능력

LLM도 “시스템 아키텍처 전체”는 못 봐요. 개발자가 전체 구조를 설계해야 해요.

2) 디버깅 능력

LLM이 버그도 만들고, 상황에 따라 엉뚱한 코드를 만들어내기도 해요.결국 고치는 건 사람입니다.

3) 대규모 코드베이스 이해 능력

LLM은 작은 파일 단위로는 괜찮지만 전체 코드 구조에 대한 맥락은 사람이 조립해야 해요.

4) 정확한 사고(Reasoning)

LLM은 패턴으로 코드 생성하지만  이 시스템이 “왜 이렇게 작동해야 하는지”는 개발자가 판단해야 하죠.

🔶 AI 시대의 개발자는 '풀스택 × 멀티 역할'

Janvi: 또 하나 크게 달라진 점이 있어요.

예전에는 PM이 기획, 디자이너가 디자인, 데이터 엔지니어가 파이프라인,

소프트웨어 엔지니어는 구현만 이런 식으로 분업이 명확했어요.

하지만 지금은 엔지니어가 PM, 디자이너, 데이터 엔지니어 역할까지

자연스럽게 확장해야 해요. AI가 많은 일을 대신해주기 때문이죠.

🔶 AI는 ‘잘 설명하는 사람’을 더 강하게 만든다

Janvi: 이제 프롬프트가 사실 ‘설계서’ 역할을 하게 되었어요.

따라서 내 시스템을 잘 설명할 수 있고 ,엣지 케이스를 잘 떠올릴 줄 알며

모델에게 원하는 걸 정확히 명령할 줄 아는 사람 이 가장 강력해질 겁니다.

🔶 “머릿속에 모델이 있어야 한다”는 이야기

Q: 저도 비슷한 생각이에요.머릿속에 “어떤 코드가 필요한지” 그림이 있을 때는LLM이 엄청 잘 따라오는데 그게 없으면 모델도 헤매더라고요.

Janvi: 정확해요!모델은 우리가 “어떻게 생각하는지” 그대로 따라옵니다.

그래서 전체 구조를 먼저 머릿속에 그리는 사람 그다음 구체적인 프롬프트로 모델에게

지시하는 사람 이 가장 빠르게 일하게 돼요.

🔶 LLM이 대규모 코드베이스에서는 아직 약함

Janvi:그리고 하나 확실한 건,

LLM은 아직 대규모 코드베이스에서 완벽히 작동하지 않습니다.

그래서:

코드 위치 파악

기존 모듈 이해

전체 흐름 속에서 필요한 코드만 추가

이런 건 여전히 엔지니어가 직접 해야 해요.

🔶 실제 개발에서 중요한 ‘현실적인’ 요소들

진행자 :결국 실전에서는테스트 환경 구성, 배포 과정, 장애 대비, A/B 테스트 도구, 플래그 관리 등이다 필요하잖아요.

이런 건 AI가 대신해주기 어려운 영역이기도 하고.

Janvi :맞아요.코딩뿐 아니라 시스템 운영에 필요한 모든 절차는결국 사람이 책임져야 하죠.

🔶 AI 시대엔 아키텍처 지식이 더 중요해질 수도 있다

Q :저도 요즘 구식 아키텍처 책을 다시 읽기 시작했어요.시간이 지나도 변하지 않는 원리가 있더라고요.

Janvi :정말 좋은 접근이라고 생각해요.

앞으로 엔지니어링 스택이 크게 재편될 텐데,그럴수록 바뀌지 않는 것들을 잘 이해하는 사람이더 강해질 거예요.

🔶 “옛날 소프트웨어 아키텍처 책”의 의미

Janvi :1990년대 소프트웨어 아키텍처 책을 본다고 했잖아요?저는 그게 정말 훌륭한 접근이라고 생각해요.

역사를 보면 어떤 건 변했고,어떤 건 30년이 지나도 변하지 않았다는 게 드러나거든요.

그걸 바탕으로“AI 시대에도 절대 변하지 않을 원리”를 파악할 수 있다고 생각해요.

🔶 Coda 시절 가장 좋아했던 AI 프로젝트

Q:Coda에서 만든 수많은 AI 기반 기능들 중가장 마음에 남는 프로젝트가 있다면?

Janvi:저는 Workspace Q&A(Chatbot) 프로젝트를 가장 좋아해요.

조금 배경을 설명하면:

고객들이 “문서가 너무 많아서 필요한 정보를 못 찾는다”라는문제를 계속 얘기했어요.

그러던 중, 2023년 11월.RAG(검색+생성)가 엄청 핫해지기 시작했어요.

Coda 내부를 보니:

검색 인덱스를 새로 재작성한 팀이 있었고

LLM 호출 인프라도 안정적으로 갖춰져 있었고

문서 안에서 LLM과 대화하는 인터페이스도 있었어요

즉, RAG 챗봇을 만들기 위한 모든 재료가 이미 있던 거죠.

그래서 2~3일 동안이 세 가지를 전부 연결해서버전1을 만들었어요.

그리고 슬랙에 공유했는데…

우리 CEO가 직접 들어와서 댓글을 달기 시작했어요.그가 이걸 보고 큰 그림을 본 거죠.

“이거… 문서 검색만이 아니라모든 회사 데이터를 통합해서 검색하는엔터프라이즈 검색 제품으로 확장할 수 있겠는데?”

그리고 바로 프로젝트가 시작됩니다.

🔶 4주 안에 ‘제품 가능성 실험’… 그리고 뉴욕 긴급 해커톤

CEO 지시에 따라 ,저, 제 매니저, CTO, 디자이너, PM

이렇게 5명이 급하게 팀을 꾸리고4주 만에 ‘이게 실제로 가능한지’ 보여주기로 했어요.

심지어 어느 날은 하루 만에 뉴욕으로 날아가 밤새 해커톤을 하기도 했어요.

이때는 진짜 “피, 땀, 눈물” 프로젝트였어요 하지만 해냈고, 실제로 훌륭한 시연까지 나왔어요.

🔶 그 프로젝트는 “CodaBrain”이라는 두 번째 제품으로 성장

초기 버전이 성공한 뒤 2024년 1월~6월까지 약 20명 규모의 팀이 붙어 정식 제품으로 재탄생합니다.

이게 바로 CodaBrain.

그리고 Snowflake DevDay 키노트 무대에서우리 제품이 시연되었죠.

저는 이 프로젝트를처음 아이디어 단계부터세계 무대에 발표되는 순간까지 경험했기 때문에정말 잊을 수 없는 프로젝트예요.

🔶 AI 열풍 속에서 Janvi가 “앞서 나갈 수 있었던 이유”

Q:너무 인상적인 게,Janvi는 AI 열풍이 막 터진 시기에아무도 안 가르쳐줘도 스스로 배우고팀이 ‘아직 아니야’라고 했을 때도몰래 공부해서 역량을 키웠잖아요.

이게 진짜 차이를 만들어낸 것 같아요.

Janvi :맞아요. 저는

“기회를 기다리지 말고, 그냥 시작하라”이 철학을 정말 믿어요.

그리고 AI는 특히 초기에모두가 “처음”이라서누구나 동등한 출발선이었어요.

그때 스스로 뛰어든 사람들이지금 업계를 끌고 가고 있다고 봐요.

🔶 OpenAI에서 일하며 느낀 특별한 점

Q: OpenAI는 Coda, Google, Microsoft와 어떤 점이 달라요?

Janvi :세 가지예요.

1) 빠르고, 그리고 규모도 크다

보통은 “빠른데 작다”, “느린데 크다”인데OpenAI는 빠르고 규모가 크고 (수십억 사용자) 책임도 엄청납니다

이 조합이 흔하지 않아요.

2) 엔지니어에게 큰 신뢰

제가 맡은 서비스는 초당 6만 요청을 받는데 배포는 리뷰 한 명이면 끝나요.

이런 회사 거의 없습니다.

3) 개방적인 문화

이렇게 큰 회사에서 사람들이 “왜 이렇게 만드는지”를 너무 솔직하게 공유해준다는 게 놀라워요.

🔶 OpenAI가 빠른 이유: “시스템 자체가 스피드를 지원한다”

Janvi :OpenAI는 개발 시스템, 프로세스가빠르게 만들도록 디자인되어 있어요.

예전엔 stat-sig 변경을 승인 없이도 할 수 있었고(지금은 리뷰 1개 필요)대규모 트래픽을 다루는 서비스도바로바로 배포할 수 있어요.

이건 엔지니어를 믿어줘야 가능한 일이고그게 바로 OpenAI의 강점이에요.

🔶 AI 엔지니어의 업무는 “모델의 한계를 다루는 일”

Q 현실의 AI 엔지니어링은 어떤가요?

Janvi:실제론 굉장히 현실적이에요.

모델이 부족한 부분을 보완하고

모델이 발전하면 그 보완 코드를 뜯어고치고

새로운 기능이 나오면 다시 구조를 바꾸고

이런 사이클이 끝없이 반복돼요.

🔶 AI는 “깊게 파는 사람”과 “피상적으로 쓰는 사람”을 나눈다

Janvi: 앞으로 개발자는 두 종류가 돼요.

1) AI로 학습을 강화하는 사람

→ 엄청난 속도로 성장하는 커리어

2) AI로 학습을 회피하는 사람

→ 장기적으로 약해짐

결국 차이를 만드는 건좋은 질문을 던지고, 깊이 파고드는 능력이에요.

🔶 미래 개발자의 가장 중요한 능력

Janvi: AI 시대에는 다음 능력이 중요해요:

시스템을 한눈에 보는 능력

엣지 케이스를 떠올리는 능력

모델에게 ‘올바른 지시’를 내리는 능력

큰 그림을 그리고, 세부 사항도 다루는 능력

이건 그냥 코딩 잘하는 것 이상이에요.

🔶 AI가 와도 변하지 않는 것들

Janvi: 아무리 모델이 발전해도이건 절대 변하지 않아요. 시스템 설계, 디버깅, 대규모 코드베이스 이해 운영(테스트, 배포, 장애 대응), 아키텍처 원리

이건 AI가 대신할 수 없어요.

🎤  빠른 질문(Quick Fire Round)

Q: “당신의 AI 스택은?”

Janvi :

코딩: Cursor

해커톤 준비: Deep Research

검색/도움: ChatGPT

회사 문서 탐색: 내부 RAG 도구

Q: “추천하고 싶은 책은?”

Janvi: <Naval Ravikant의 알마낙>인생, 행복, 커리어 모두 통찰이 깊어요.

Q: “당신의 커리어를 바꾼 조언은?”

Janvi: “누군가 기회를 줄 때까지 기다리지 말고네가 하고 싶은 걸 먼저 시작하라.”

🏁 엔딩

진행자 :Janvi는 2022년에 “딥러닝 분야에 늦었다”고 생각했지만 지금은 OpenAI에서 핵심 엔지니어로 일하고 있어요.

이 대화는“AI 시대에는 경력보다 학습 속도와 호기심이 더 중요하다”는 것을 보여줍니다.

이상 팟캐스트로 진행된 인터뷰 내용이었습니다 

서투른 글솜씨이지만 읽어주신 분들께 진심으로 감사를 드립니다

여러분들에게 더 좋은 인사이트와 흥미로운 주제들 갖고 찾아뵙겠습니다 

이상 MARK 였습니다 

항상 건강하고 행복되는 하루되시길 바라겠습니다 

그럼 adios!