이 글은 [조쉬의 뉴스레터]에서 발행되었습니다.

퀄리티 있는 프로덕트, 창업가, 비즈니스 이야기를 매주 구독해보세요. 
구독 시 100개의 1인 창업 케이스 스터디가 발송됩니다.

[구독하러 가기]

오픈소스 영상 도구 HyperFrames의 깃허브 별은 10월 22일부터 26일까지 나흘 새 2,800개 가까이 늘었습니다. 10월 24일 대본을 고치면 영상이 따라 편집되는 앱 기능을 알린 공식 X 글은 사흘이 안 돼 100만 회 넘게 조회됐어요. 그렇다면 AI에게 영상 편집을 맡길 때, 우리는 무엇을 어떤 말로 시켜야 할까요?

HyperFrames 팀의 제이크 모런은 이 도구를 지난 4월 오픈소스로 공개한 HeyGen의 프로덕트 그로스 매니저로, HyperFrames 출시 영상을 도맡아 왔어요. 도구를 만든 회사 사람인 그도 AI에게 '편집해 줘' 한마디로 맡기지 않아요. 찍은 영상은 편집 용어로 다듬게 하고, 새 영상은 이야기 흐름과 브랜드를 구체적으로 적어 준 뒤 완성본보다 스토리보드부터 받아요. 둘을 꿰는 답은 나와 모델이 같이 알아듣는 말로, 맥락을 최대한 많이 주는 것입니다. 10월 25일 피터 양의 유튜브 채널에 공개된 대담을 진행자의 질문과 모런의 답으로 옮겨, 편집을 시키는 말과 순서를 살펴봅니다.

러프컷은 '같이 알아듣는 말'로

Q. 편집을 전혀 모르는 사람이 알아 둘 개념과 용어부터 짚어 주실래요?

저는 지난 몇 달 주로 출시 영상을 만들었고, 이렇게 녹화한 팟캐스트를 다듬는 편집은 이제 막 깊이 들어가는 중이에요.

녹화가 끝나면 완성본보다 조금 긴 원본이 남는데, AI를 쓰면 이걸 짧고 다듬어진 버전으로 만들기가 훨씬 쉬워요. 저는 편집기로 HyperFrames를 써요. HyperFrames는 HTML 기반이라 에이전트가 편집하기에 자연스러운 방식이에요. 그래서 이런 기법은 요청만 하면 거의 한 번에 되더라고요.

화면에 뭔가 올리기 전에 녹화본을 정리하는 단계가 러프컷(이야기 흐름대로 거칠게 잘라 낸 첫 편집본)이에요. 녹화 중 생긴 실수를 걷어 내고 처음 생각한 이야기 흐름으로 되돌리는 단계인데, 에이전트에게 그대로 요청하면 돼요.

저라면 필러 워드(뜻 없이 끼는 '음', '어' 같은 말)부터 지우자고 할 거예요. 지금 이 팟캐스트에서도 잔뜩 하고 있을 말들이죠. 말하기 전에 잠깐 멈춰 생각하는 무음도 마찬가지고요.

뻔해 보이지만 중요한 게 있어요. 나와 모델이 둘 다 알아듣는 말을 써야 결과에 더 빨리 닿고 토큰(AI가 읽고 쓰는 글의 양을 세는 단위)도 낭비하지 않아요. AI가 비싸다는 건 다 알잖아요. 편집도 예외가 아니에요.

모델은 전사(음성을 듣고 글로 받아쓰는 것)를 할 수 있어서 이런 걸 다 찾아내요. 필러 워드, 타임스탬프(말이 나온 시각 기록)로 잡히는 무음, 같은 말을 두 번 한 곳, 말하다 틀려서 다시 말한 곳까지요.

첫 시도에 원하는 길이에 가깝게 가려면 이런 용어로 말하는 게 열쇠예요. 예를 들면 이렇게요. "'음'을 지우고 싶어. 오래 멈춘 데가 있었으니 무음은 0.25초 안팎이나 그보다 짧게 줄여 줘. 같은 단어를 반복했을 수 있으니 그것도 없애 줘. 이쯤에서 다시 찍었어."

AI로 하는 모든 일이 그렇지만 영상 편집은 특히 더 그래요. 프롬프트에 맥락을 최대한 많이 넣는 게 품질을 올리는 열쇠예요. 할 수 있는 한 많이 설명하세요.

Q. 점프컷은 말이 툭 넘어가는 거고, 펀치인(컷 자리에서 화면을 살짝 키우는 기법)은 그걸 가려 주는 거죠?

네, 같은 이야기예요. 제가 같은 단어를 두 번 말하면 LLM(Claude 같은 대형 언어 모델)은 아마 하나를 잘라 내고 다음 말로 넘어갈 거예요. 그 사이 시간이 빠졌으니 보는 사람은 제 머리가 여기서 저기로 살짝 움직인 것처럼 느낄 수 있어요.

뒤에서 한 말을 영상 앞쪽으로 옮기고 싶을 때도 같은 생각이에요. 저는 그 클립을 알맞은 때에 펀치인해 넣는다고 말하는데, 시청자에게 맥락을 더하는 거죠. 전부 다시 녹화하지 않고도, 나중에 찍힌 장면까지 살려 쓰는 방법들이에요.

받아쓰기가 틀리면 단어가 반쯤 잘린다

Q. 전사 모델이 다 좋지는 않아서, Parakeet을 쓴다는 팁이 있었죠?

네, 저는 로컬에서 돌리는 전사 모델 Parakeet을 써요. 로컬 모델치고는 큰 편이지만 그럴 가치가 있어요.

어떤 도구를 쓰든 이런 편집 도구에는 대개 전사 소프트웨어가 들어 있어요. HyperFrames에도 더 작은 로컬 전사 모델이 있는데, 정확한 타임스탬프를 가끔 놓쳐요. LLM이 어떤 말이 정확히 몇 밀리초에 나왔는지 알아내기는 좀 어렵거든요.

속도감이 생명인 인스타그램이나 틱톡용 편집에선 그게 핵심이에요.

성능이 나쁜 전사 모델 위에서 "문장 사이 무음을 0.25초로 줄여 줘"라고 하면, LLM은 알겠다고 하고는 잘못된 타임스탬프로 작업할 수 있어요. 그러면 단어가 반쯤 잘려 나가는 어색한 장면이 생겨요.

제 경우 Parakeet은 98%는 단어 사이 간격을 제대로 잡아요. LLM이 정확한 타임스탬프를 얻는 것, 녹화본 정리에서는 그게 전부예요.

모런이 쓰는 Parakeet은 엔비디아가 무료로 공개한 전사 모델이에요. HyperFrames 저장소 문서도 명령어 한 줄(`npx hyperframes models install parakeet`)로 설치하는 방법을 안내해요.

훅은 줌인으로, 음량은 숫자로

Q. 인트로는요? 시청자를 붙잡아야 하잖아요?

인트로와 훅(첫 몇 초에 시청자를 붙잡는 장면)이라는 말을 가장 많이 듣게 될 거예요. 영상 만들기에 뛰어들면 온갖 유행어를 듣는데, 상당수가 같은 뜻이에요. 인트로와 훅도 대개 같은 말이에요.

찍어 둔 영상을 편집한다면 보통 가장 몰입되는 장면을 앞으로 가져와요. 그리고 효과를 몇 가지 써요. 모션 그래픽(화면 위에 움직이는 그래픽)일 수도 있고, 영상 자체에 손을 대 더 끌리게 만드는 효과일 수도 있어요.

가장 익숙한 건 줌인이에요. 영상 첫머리 줌인이 얼마나 강력한지는 아무리 말해도 지나치지 않아요. 시선을 한곳으로 이끌고 영상 속 세계로 끌어들이죠. 지금 LLM에게 "앞에 줌인을 넣어 줘"라고만 해도 아마 꽤 괜찮게 나올 거예요.

줌인에도 종류가 있어요. 멀리서 시작해 카메라가 다가오는 듯한 푸시인, 반대로 물러나는 풀백, 줌 과정 없이 한 위치에서 다른 위치로 툭 넘어가는 컷인이 있어요. 모두 속도로 조절하는데, 크리에이터 대부분은 천천히 시작해 빨라졌다가 끝에서 부드럽게 멈추는 곡선을 써요.

다음은 B롤(말하는 사람이 나오는 A롤 사이에 넣는 보조 화면)이에요. 뒤에서 다룰 내용의 미리보기나 튜토리얼의 목차 같은 거죠. 구독자가 많은 사람이라면 '내 말을 들을 이유'를 보여 주는 경력 카드(스피커 카드)를 얹기도 하죠.

전환도 있어요. 장면 A에서 B로 아무 효과 없이 바로 넘어가는 그냥 컷, 장면 A가 한쪽으로 휙 빠지고 B가 들어오는 휩 팬이 있어요. 방향은 어디로든 할 수 있어요.

Q. 언제 휩 팬을 쓰고 언제 그냥 컷으로 넘길지 모르겠는데, 전환 이름만 주고 알아서 고르라고 하면 될까요?

바로 그거예요. 솔직히 저도 어느 순간에 정확히 뭘 넣을지 정하는 일은 드물어요. 다른 크리에이터의 휩 팬을 보고 '이거 좋다' 하는 정도죠. 그다음은 Claude에게 맡기세요. 알아서 골라 줄 거고, 아마 꽤 탄탄할 거예요.

Q. 음악은 Suno(음악 생성 AI) 같은 걸 써야 하나요, 아니면 직접 넣어도 되나요?

이건 저도 아주 새로워서 아직 실험 중인데요, Opus(Claude의 상위 모델)는 음악도 직접 만들 수 있어요. MIDI(음 높이와 길이를 담은 디지털 악보 형식)로 자기만의 트랙을 만들죠. "생성 모델 쓰지 말고 네가 음악을 만들어"라고만 해도 돼요. 컴퓨터에 음악 파일이 있으면 채팅에 끌어다 놓고 "이 음악 넣어 줘"라고 해도 되고요.

전사 이야기와 이어지는 점이 하나 있어요. 모델은 아직 소리를 어려워해요. 아무것도 듣지 못하거든요. "음악 넣어 줘"만 하면 내 목소리보다 훨씬 크게 들어올 수 있어요.

그래서 저는 보통 이렇게 말해요. "음악은 작게, A롤 음량의 10%로 유지해 줘." 표현은 여러 가지지만 조금만 분명하게 말해도 대개 도움이 돼요.

그리고 편집은 한 번 주고받는 데 시간이 좀 걸려요. 원하는 게 어느 정도 그려진다면 에이전트를 보내기 전에 처음부터 다 적어 주는 게 나아요.

스크린샷 3장, 완성본보다 스토리보드 먼저

Q. 직접 만든 출시 영상을 보여 주고, 어떻게 만들었는지 짚어 주실래요?

얼마 전 우리 앱에 넣은, 영상과 이미지의 배경을 지우는 기능의 출시 영상이에요.

저는 HyperFrames Studio라는 데스크톱 앱에서 만들었지만, 코드 에이전트나 채팅 안에서도 이 도구를 그대로 쓸 수 있어요. 만드는 흐름은 거의 같아요.

시작할 때 가진 건 스크린샷 3장이 전부였어요. 하나는 나중에 보여 주려던 우리 앱 화면이고, 나머지는 훅에 쓰고 싶던 이미지였어요. 그리고 앉아서 프롬프트를 썼어요.

그런데 이 프롬프트는 길지 않아요. 핵심은 편집 용어를 거의 쓰지 않았다는 거예요. Opus 같은 새 모델은 그런 선택을 스스로 하거든요. 이 프롬프트에서 제가 정말로 다룬 건 제가 원하는 이야기 흐름이에요.

솔직히 AI 편집에서 지금도 가장 아쉬운 점은 여전히 아이디어는 내가 가져와야 한다는 거예요. 전하고 싶은 이야기 흐름의 대강은 알고 있어야 해요.

이 영상의 훅은 우리 팀 엔지니어가 슬랙에 "배경 제거가 된다"며 올린 이미지에서 나왔어요. 그 이미지를 그대로 넣고 원하는 걸 느슨하게 적었을 뿐인데, 모델이 이만큼을 스스로 만들어 냈어요.

나머지는 '이제 프롬프트 한 번이면 된다' 같은 흔한 마케팅 이야기를 풀고 싶었던 정도예요. "여기서 컷인하고 35초로 만들어" 같은 세세한 지시는 아니었어요. 생각을 꺼내 놓으면 뭔가 돌아와요.

마지막으로, 저는 보통 스토리보드(장면별 정지 화면으로 짠 영상 설계도)를 먼저 달라고 해요. 따로 요청하지 않으면 아마 바로 전체 영상을 만들러 갈 텐데, 그건 시간이 오래 걸려요.

모션 그래픽에는 제가 닿고 싶은 기준이 있어서, 다 만든 영상을 붙잡고 고치기보다 정지 프레임으로 먼저 보는 쪽을 좋아해요.

완벽할 필요는 없고, 원하는 게 대충 보이면 빌드(전체 영상 만들기)를 맡겨요. 문제가 될 만한 걸 훨씬 빨리 잡을 수 있거든요.

Q. 출시 영상은 보통 30~45초에 이야기 하나던데, 만들 때 따르는 기준이 있나요?

우리 출시 영상은 대개 더 큰 제품 안의 기능 하나예요. 창업 이야기를 풀어야 하는 영상은 드물어요. 엔지니어들이 늘 뭔가를 쏟아 내서, 오후 5시에 "방금 끝냈는데 내일 알릴 수 있을까요?" 하는 연락을 받곤 해요. 일부 사용자에게 쓸모 있는, 범위가 작은 기능이죠.

그래서 짧아야 해요. 저는 보통 30초에서 1분 남짓 안에 끝내려고 해요.

시작은 눈을 붙잡는 훅이에요. 이번엔 농구 장면이었죠. 훅은 아마 가장 창의력이 필요한 부분이에요. 그다음엔 제품에서 이걸 어떻게 쓰는지로 이어 가고, 사용자가 얻는 결과를 보여 줘요. 끝으로 '참고로 우리는 HyperFrames예요' 하고 브랜드를 다시 떠올리게 하죠.

그래서 저는 보통 네 구간으로 생각해요. 훅, 맥락 쌓기, 결과나 행동 유도, 그리고 다시 브랜드.

'내 브랜드'라고만 하면 색이 틀린다

Q. 영상 속 사람들, 가운데 있는 당신까지 HeyGen 아바타인가요?

네. 저는 카메라 앞에 서는 게 싫고, 섭외할 크리에이터도 많지 않아요. HyperFrames 일을 하기 훨씬 전부터 이 회사에 있었던 터라, 필요한 장면을 아바타로 만드는 데 아주 익숙해요. 사람들 영상이 격자로 붙은 장면도 찾아올 수 있었지만, 귀찮아서 Claude에게 아바타로 여러 인물을 만들어 말하게 했어요.

가운데 저도 제 아바타예요. 저를 넣어 달라고 하지도 않았는데, 그건 Claude가 알아서 한 거예요. 찍어 둔 영상이 있으면 그냥 넣으면 돼요. 이번엔 자료를 찾으러 다니기 싫었고, 쓸 수 있는 모델이 있으니 쓴 거죠.

Q. 여러 영상의 브랜드는 어떻게 맞추나요? 색과 글꼴을 담은 스킬이 있나요?

브랜드 정보는 꼭 넣어 줘야 해요. 그냥 "내 브랜드로"라고만 하면 아마 10번 중 9번은 엉뚱한 색에 상상으로 지어낸 화면이 나올 거예요.

데스크톱 앱에는 웹사이트에서 브랜드 킷(색·글꼴·로고 묶음)을 뽑아 오는 기능을 넣었어요. 정보를 다 담은 PDF나 폴더를 올려도 되고요. 앱 밖에서 쓴다면 그만큼 더 구체적으로 적어 주면 돼요.

원본 20분 30초가 18분 11초로

Q. 제 토킹헤드(카메라 앞에서 말하는) 영상도 하나 편집하셨죠?

네. 피터 님 에피소드 하나의 편집 전 원본을 받았는데, 길이가 20분 30초였어요. 편집을 마치니 18분 11초가 됐어요. 앞에서 말한 다시 찍은 부분, 무음처럼 결국 필요 없던 것들이 있었으니까요. 완성본은 들어온 원본보다 짧아지기 마련이고, 그건 처음의 정리 컷에서 나와요.

얼마나 줄지는 찍을 때 얼마나 깔끔했느냐에 달렸어요.

이 예시로 하고 싶었던 건 두 가지예요. 이 에피소드를 보여 줄 재미있는 인트로 릴(본편 앞에 붙이는 짧은 예고 영상)을 만드는 것, 그리고 무음·반복한 말·다시 찍은 부분을 전부 잘라 내는 것이었죠.

인트로 릴에서 컷인을 어디에 둘지 같은 건 제가 정하지 않았어요. 튜토리얼이라면 대개 목차를 넣어 사람들을 영상으로 이끄는데, 그 생각 그대로예요.

이 효과들은 피터 님이 좋아한다며 보내 준 예시 두 개에서 왔어요. 제가 한 건 노리는 장면의 스크린샷을 에이전트에게 공유한 것뿐이에요. 남이 만든 비슷한 훅의 스크린샷을 주고 그 아이디어를 이 영상 내용으로 옮기면서, 색은 피터 님 채널에서 늘 쓰는 색으로 바꿨어요.

Q. 인트로에 애니메이션을 넣어도 말하는 사람을 덮으면 안 되니, 과하지 않아야 하죠?

동의해요. 그렇게 하는 사람도 있지만, A롤이 일하게 두세요. 결국 시청자는 말하는 사람에게서 배우려고 보는 거니까요. 그런 화려한 모습을 좋아하는 사람도 있지만, 조금이면 충분해요.

모델들도 이걸 꽤 잘해요. 오히려 저보다 보수적인 것 같아요.

남의 효과는 레퍼런스에서 시작한다

Q. 말만 하면 화면과 효과는 Claude가 다 넣어 주는 게 크리에이터의 꿈 아닐까요?

맞아요. 다만 유튜브 영상과 틱톡·인스타그램의 짧은 영상은 근본적으로 달라요. 소셜 미디어에서는 사람들이 다음 영상으로 넘기지 않게 붙잡기가 더 어려워서 효과를 많이, 정신없게 쓰는 편이에요. 유튜브는 썸네일 같은 것에서 클릭이 먼저 결정되고요.

Claude를 비롯한 최신 모델들도 이 감각이 있어서, 블로그 글 링크와 자료 몇 개, 대강의 설명만 줘도 돼요. 분위기, 그러니까 '에너지'를 묘사하는 것만으로도 에이전트에게는 아주 값진 정보예요. "빠르고 정신없게"나 "정제되고 프로페셔널하게, 깔끔하게" 같은 에너지 단어가 아주 잘 먹혀요.

결국 다 '에이전트에게 맥락을 어떻게 더 줄까'로 돌아와요. 따라 하고 싶은 스타일이 있다면 아주 천천히 보면서 말로 묘사할 수 있어요. 지난 너댓 달 동안 저도 그렇게 했어요.

그런데 남의 효과를 내 것으로 만드는 건 간단하지 않아요. 이 훅 하나에도 글자가 들어오는 방식, 배경을 지워 물체를 사람 살짝 뒤에 놓는 것까지 묘사할 게 아주 많거든요.

그래서 얼마 전 레퍼런스만 올리면 되는 기능을 우리 앱에 기본으로 넣었어요. 저는 이 5초짜리 클립을 올리고, 프롬프트에는 바꾸고 싶은 것만 적었어요. 글꼴도 색도 달라서 아주 다른 장면처럼 느껴지지만, 구조는 같은 아이디어예요.

아니면 그냥 묘사해 봐도 돼요. 이 훅에서 일어난 일은 아마 다 합쳐 10가지 정도였어요. 관건은 그걸 맞히는 거예요. 스크린샷이든, 이전 영상이든, 코드가 있는 남의 HyperFrames 프로젝트든 레퍼런스로 시작하면 더 쉬워요. 모두 원하는 곳에 닿는 길이에요.

Q. 그러니까 클립을 올리고 AI에게 역설계시킨 다음, 내 수정을 더한 거죠?

정확해요. 제 영상에 원하는 것만 더했죠. 이런 건 여러 종류에 다 할 수 있어요. 예를 들어 화면을 둘로 나눈 효과 위에 HyperFrames로 만든 모션 그래픽을 얹고 자막을 넣는 식이에요.

오래 편집해 온 크리에이터에게 특히 쓸모 있을 거예요. 이미 몇 년 동안 다듬어 온 스타일, 색, 형식이 있잖아요. 그걸 그대로 옮기고 싶을 테니까요. 그걸 코드로 역설계해 두면 언제든 꺼내 참고할 수 있는 라이브러리가 생겨요.

고칠 곳은 모아서 한 번에, 반복은 스킬로

Q. '5분쯤 이거, 10분쯤 저거' 타이핑하기 귀찮은데, 프레임에 바로 표시할 수 있나요?

그게 우리가 크게 더한 또 하나예요. 저도 사내에서 이 앱을 쓰기 전까지는 영상을 끝까지 보면서 Claude 채팅에 허겁지겁 메모를 남겼어요. '이 순간에 이런 말을 했잖아' 하고 거슬러 설명하거나, 타임스탬프를 잡으면 적으면서요.

답답했어요. 수정은 어차피 생기니까요. Opus가 틀릴 수도 있고, 만들다 보면 절반은 '잠깐, 이렇게 하면 끝내주겠는데' 하게 되거든요.

그래서 앱에서는 바꾸고 싶은 곳에 그림을 그리고 메모를 남기면 대기열에 쌓이게 했어요. "글자를 노란색으로" 같은 메모를 남겨 두고, 끝까지 본 뒤 한꺼번에 보내요. 줄줄이 읊는 것보다 이렇게 보면서 모아 두는 쪽이 훨씬 편해요. 10초짜리 영상이면 지금도 가끔 그냥 말로 해요.

진행자는 화면 속 이메일·이름 같은 정보를 흐리는 자기 스킬을 먼저 돌리고, 15~20분이 넘는 영상은 구간으로 나눠 편집한 뒤 이어 붙인다는 요령을 보탰어요. 모런은 100% 맞다며 이렇게 받았어요.

지금은 AI로 하면 더 빠를 것 같은 방법이 곳곳에 있는 재밌는 시기예요. 그 방법을 한번 제대로 찾았다면 스킬(에이전트가 다시 꺼내 쓰는 작업 설명서)이나 비슷한 걸로 만들어 두세요.

어렵지 않아요. 세션이 끝날 때 이렇게 말하면 돼요. "방금 한 단계가 정확히 뭐였는지 기억해 두자. 다음에 영상 만들 때 참고할 수 있게." 늘 같은 형식으로 영상을 만드는 사람이라면 꼭 레퍼런스로 저장해 두세요. 같은 일을 두 번 하지 않아도 되니까요.

모런이 출시 영상을 시작할 때 손에 든 건 스크린샷 3장과 이야기 흐름이었어요. 찍은 영상에는 필러 워드, 0.25초, A롤 음량의 10%처럼 모델이 알아듣는 말과 숫자를 주고, 새 영상은 스토리보드부터 받았죠. 그래도 아이디어와 이야기 흐름은 여전히 사람 몫이라고 그는 말해요. 진행자도 편집을 업으로 하는 사람은 여전히 더 잘하겠지만 나머지 사람도 이제 쓸 만하게 해낼 수 있다고 맺었어요.

모런은 HyperFrames 저장소를 어떤 에이전트로도 쓸 수 있다고 했어요. 그가 보여 준 답은 모델이 듣지 못하고 모르는 것을, 같이 알아듣는 말과 숫자와 자료로 채워 주라는 것입니다. 오늘은 찍어 둔 영상 하나를 골라, 지금 쓰는 에이전트에게 그가 예로 든 러프컷 지시부터 붙여 보세요.

소중한 노력이 들어간 글을 널리 알려주세요. 

이 기사가 좋으셨다면, 보상을 해주세요. 

가장 좋은 보상은 ‘조쉬의  뉴스레터 구독’입니다. :) 

구독을 하시면 100개의 1인 창업가 데이터베이스를 발송해드립니다.

[구독하러 가기]