생성 인공지능, 프롬프트 엔지니어링, 나 자신에 대한 짧은 소회.

글쓰는 서비스 개발자, 이은규입니다.

어릴 때부터 공상, 소설, 인문학, 과학을 좋아하여 항상 책과 함께 살아왔습니다. 바쁜 일상의 와중에도 시, 소설과 수필을 끄적여 가며 글에 대한 감각을 놓지 않기 위해 열심히 정신적 항상성을 단련하고 있습니다.

프로그래밍, 엔지니어링은 어찌 보면 글 쓰는 일과 닮은 구석이 많습니다. 쓰는 내내 단어와 단어 간의 역학적 상관관계를 추론해야 하며, 같은 의미를 담은 문장이라도 쓰인 필체에 따라 서로 다른 울림을 선사하기도 합니다. 휘갈겨 쓴 글의 군더더기를 쳐내는 작업이 디버깅이나 트리셰이킹처럼 느껴질 때도 있습니다.

저는 그래서 프로그래밍을 좋아합니다. 제 머리 속에 떠오르는 심상, 이야기를 시와 소설로 옮겨 숨을 불어넣는 것이 좋듯이, 제게 떠오르는 서비스적 영감을 하나의 실체로 구현하는 일은 질리지도 않게 제 가슴을 두근거리게 하니까요.

GPT-2를 사용한 AI Dungeon이라는 게임(이라는 이름의 소설 플랫폼)이 나왔을 때를 아직 기억합니다. NLP, GAN, ..., 당시 어지러운 수많은 키워드로 이루어진 ML이라는 영역은 제게 그저 신비의 영역에 가까웠지만, 제가 가장 좋아하는 일을 마치 사람처럼 함께할 수 있는 AI를 내 눈으로 직접 경험해 본 충격은 그 결과물이 아무리 어설픈 것일지라도 제게 AI에 대한 새로운 시각을 심어주기 충분했습니다. Chat GPT 이전 GPT-3가 적용된 각종 서비스들, 여러 Modal의 생성 AI들, Copilot 베타, Chat GPT까지 거치면서 생성 AI의 최전선의 급격한 변화를 온몸으로 느끼면서 부딪히며, 제 나름의 감각을 축적해 왔다고 생각합니다.

ChatGPT를 위시로 한 Transformer 기반 모델들의 작동 원리는 인간의 그것과 별로 다를 것이 없습니다. 이런 모델들은 지금은 구시대적으로 변해 버린, 아주 좁은 도메인의 목적성을 가진 모델이나, 구식 알고리즘과는 그 결이 완전히 다릅니다. 이러한 모델들은 근본적으로 인간 지성을 대체하는 것이므로, 우리가 이를 응용하는 일 또한 완전히 새로운 접근 방식으로 사고해야 할 필요가 있습니다.

이들에게 무언가를 부탁하는 일은 마치 사람에게 일을 맡기는 것과 같습니다. 같은 사람에게 같은 업무를 맡기더라도, 그 업무의 Context, Goal, Resource를 얼마나 명확하게 정리하여 전달하냐, 이에 따라 결과물의 퀄리티는 천차만별로 달라집니다. AI라는 도구는 뭇사람들의 인식과는 달리 모두에게 공평하게 동작하지 않습니다. 계산기나 전동 드릴처럼 누가 사용해도 똑같은 역할을 하는 구시대의 도구와는 완전히 다릅니다. AI와 AI에 맡길 업무의 분야를 더 잘 이해하는 사람이 사용할 수록 더 높은 퀄리티의 결과물을 만들어내고, 더 높은 차원의 역할을 수행할 수 있습니다.

이들을 잘 이해한다는 것이 무엇을 뜻할까요? 이들과 잘 소통하는 것? 글을 잘 쓰는 것?

Hallucination이 적은 답변을 얻어내는 방법,

사람들이 선호하는 형태의 답변을 얻는 방법이나

원하는 Output의 형태를 추출하는 능력일까요?

인문학적으로 사고하는 능력이라고 정의할 수도 있겠지만, 이런 능력들은 Gen-AI를 이해하는데 있어 작은 단편일 뿐입니다. 아주 똑똑한 사람을 앞에 두고 내가 원하는 답변만 반복하도록 마구 두들겨 팬 다음, 나는 저 자가 하는 말을 모두 맞출 수 있으니 그를 모두 이해했다고 얘기하는 것과 같습니다. AI를 이해한다는 것은 AI가 가진 잠재력, 이들이 무엇을 할 수 있는지를 이해하고 이들의 Capability를 확장할 수 있는 방법과 도구를 연구하는 것에 그 포커스가 맞추어져야 합니다.

그렇기 때문에 프롬프트 엔지니어는 단순히 프롬프트를 잘 작성할 수 있기만 해서는 안 됩니다. 프롬프트를 작성하는 것 보다도 LLM을 둘러싼 생태계의 변화를 빠르게 감지하고, 이들이 수행 가능한 역할을 남들보다 한 단계 앞서 제시하고, 그것을 실제로 구현할 수 있는 능력이야말로 프롬프트 "엔지니어"가 갖추어야 할 능력입니다.

Vector embedding, vector database를 활용하여 어떻게 이들에게 long-term memory를 심어줄 것인지,

Chain-of-Thought orchestration, Action planning/Evaluation chain을 어떻게 구성할 것인지,

여러 Model을 integration하여 어떻게 Multimodality를 구현할 것인지,

이들 모두를 유기적으로 조합하여 early stage AGI를 어떻게 탄생시킬 수 있을지

기술적인 측면과 인문적인 측면에서 유기적으로 바라볼 수 있는 능력이, 이들을 이해했다고 표현하기에 더 적합하지 않을까요?

엔지니어링이라는 측면에서도, 단순히 프롬프트를 짜는 사람으로 바라보는 접근보다는 이쪽이 더 마음에 듭니다.

막 어제 microsoft에서 발표한 재미있는 논문이 있습니다. https://arxiv.org/abs/2303.12712

영미 커뮤니티에서 이 논문을 두고 GPT-4는 AGI가 아니라는 의견에 대해 제가 나눈 대화 내용입니다.

- 원 댓글

It depends on what you call "AGI". I think most people would perceive AGI as an AI which could improve science and be autonomous. If you don't use GPT4, GPT4 does nothing. It needs an input. It's not autonomous. And its abilities to improve science are probably quite low.

I would say GPT4 is a very good chatbot. But I don't think a chatbot can ever be an AGI. The path towards saleable AIs is probably not the same as the path towards AGI. Most users want a slavish chatbot, they don't want an autonomous AI.

They said "incomplete", I agree its incomplete, part of systems that make gpt4 good would probably also be required in an AGI system. The point of AGI is maybe not to built the smartest AI but one which is smart enough and autonomous enough. I'm probably much dumber than most AI systems including GPT4.

- 이에 대한 저의 의견입니다.

In my opinion, using "improve science" as a criterion for determining whether a model is AGI or not is not appropriate. the improvement of science is merely an expected outcome of AGI, just as it would improve literature, arts, and other fields. it is too ambiguous, and current GPT models themselves are improving science in many ways. I do agree that autonomy is a crucial factor in this determination, and GPT-4 alone cannot be called an AGI. Nonetheless, this may be a fault of engineering rather than the model itself. If we have a cluster of properly engineered thought-chain processor (or orchestrator / agent, w/e you call them), with a long-term vector memory, continuously fed by observations, with enormous kits of tools, all powered by gpt-4, it might work as an early AGI. Just as like human brain is consisted of many parts with different role of works. When I said "all powered by gpt-4", I meant that thought chaining process is also done by gpt-4, and this is not even just fictional approach. There are many projects and approaches that are actually implementing this and they're taking gpt's capability into whole other level already, and there are so much more left to be improved.

GPT-4가 이른 형태의 인공일반지능을 구현하기에 충분한 모델일 수 있다는 사실은 진심으로 한 얘기입니다. 최근 AI 분야의 연구, Visual-ChatGPT, Chain-of-Thought Reasoning, Toolformer, Synergizing Reasoning and Acting 등은 모두 하나의 방향성, 같은 가능성을 바라보고 달려가고 있고, 매일매일 너무나 놀랍고 새로운 결과물들이 쏟아지고 있습니다. Langchain을 위시로 한 툴킷이 무섭도록 빠르게 전파되고 있고, 그 위에 완전히 새로운 에코시스템이 형성되는 중입니다.

생성 인공지능이 Software 2.0이 될 것이라는 사실은 이제 자명해 보일 정도로요.

이 새로운 종류의 인공지능들은 많은 기존의 직업을 대체할 겁니다. 그리고 이 직업의 대체는 지식노동 계층을 중심으로 빠르게 일어나겠죠.

재밌게도 "글 쓰는", "개발자"인 저는 이 직업 소멸이라는 태풍의 완전한 중심에 서 있습니다.

그럼에도 저는 조금도 걱정하지 않습니다. 오히려 매일매일이 너무 즐겁고 기대됩니다.

삶이 여유롭거나, 이 쓰나미가 나 만을 향하는 것이 아닐 것이라는 안일한 현실도피도 아닙니다.

생성 인공지능이 인간에게 벌어 주는 창의성의 시간만큼 더 많은 기회와 완전히 새로운 형태의 몰입이 우리를 찾아올 것임에 확신하기 때문입니다.