저는 프로덕트 매니저로써 다양한 프롬프트를 개선하며 GPT-4기반의 제품을 만들고 있어요. 

“어떻게하면 더 빠르게 가장 적합한 프롬프트를 선택할 수 있을까요?”

MS 빌드 2023*에서 소개된 Azure 머신러닝의 업데이트에서 답을 찾아볼게요.

• *MS Build 2023 하이라이트가 궁금하신 분은 지난 글을 참고하세요.

Azure 머신러닝에 대한 업데이트 3가지

1. 프롬프트 플로우: 대규모 언어 모델을 프롬프트, 평가하고 조정하기 위한 간소화된 환경을 제공해요.
2. 사용 사례에 가장 적합한 프롬프트를 선택: 사용자는 다양한 언어 모델과 데이터에 연결하는 프롬프트 워크플로우를 빠르게 만들고 '근거 기반' 등의 측정값을 사용하여 워크플로의 품질을 평가하여 적합한 프롬프트를 선택할 수 있어요. 
3. 유해한 콘텐츠 제거: 새로운 Azure AI 서비스인 Azure AI Content Safety를 통합하여 사용자가 작업 과정에서 유해한 콘텐츠를 직접 검색하고 제거할 수 있도록 지원해요. 

프롬프트 플로우란 무엇일까요? 

• 프롬프트 엔지니어링은 대규모 언어 모델(LLM)을 사용하여 고품질 콘텐츠를 생성하는 데 필수적인 과정이지만, 여전히 반복적이고 까다로운 작업이에요. 
• 이 과정엔 데이터 준비, 맞춤형 프롬프트 제작, LLM API를 사용한 프롬프트 실행, 생성된 콘텐츠 다듬기 등이 있어요.
• 이러한 단계는 사용자가 프롬프트를 미세 조정하고 비즈니스 시나리오에 가장 적합한 콘텐츠를 얻기 위해 반복적으로 수행하는 플로우(흐름)을 형성해요.

3단계의 신속한 개발 과정

1. 설계와 개발

• 사용자는 LLM을 이해하고, 다양한 프롬프트를 실험하고, 복잡한 로직과 제어 플로우를 사용하여 효과적인 프롬프트를 만들어야 합니다. 또한 사전 지식이나 예제가 없는 경우 콜드 스타트 문제에 직면하게 돼요.

2. 평가와 개선

• 잠재적인 편견과 함정을 피하면서 일관성 있고, 도움이 되며, 정직하고, 무해한 결과물을 만들어야 해요. 또한 표준화된 지표를 사용하여 신속한 품질과 효과를 정의하고 측정해야 해요. 

3. 최적화와 생산 

• 사용자는 프롬프트 문제를 모니터링하여 해결하고, 프롬프트 변형을 비교 후 개선하고, 성능 저하 없이 프롬프트 길이를 최적화하고, 토큰 제한을 처리하고, 프롬프트 인젝션 공격으로부터 프롬프트를 보호해요. 또한 다른 개발자와 협업하고 대용량 데이터에 대한 안정성을 보장해요
• 프롬프트 인젝션 공격이란 프롬프트에 악성 또는 의도하지 않은 콘텐츠를 추가하여 언어 모델의 출력을 가로채는 것이에요.

프롬프트 플로우 장점

1. 프롬프트 엔지니어링 민첩성

• 사용자는 다양한 도구와 리소스를 사용하여 프롬프트와 흐름을 쉽게 추적, 재현, 시각화, 비교, 평가, 개선할 수 있어요.

2. LLM이 포함된 앱에 대한 엔터프라이즈 준비

• 사용자는 Azure Machine Learning의 플랫폼과 솔루션을 사용하여 흐름을 공동 작업, 배포, 모니터링 후 보호할 수 있어요. 

3. 프롬프트와 플로우 설계 개발 간소화   

• 노트북과 같은 프로그래밍 인터페이스, 방향성 비순환 그래프(DAG) 보기, 채팅 봇 환경을 사용하여 다양한 유형의 플로우를 만들 수 있어요. 기본 제공 도구와 샘플을 사용하여 프롬프트 엔지니어링 프로젝트를 바로 시작할 수도 있어요
• 프롬프트 플로우는 작성, 이형 상품 튜닝, 디버그를 위한 단일 실행, 테스트와 평가를 위한 대량 실행, 플로우 배포에 이르는 워크플로우를 안내해요.

개발에서 프로덕션으로의 원활한 배포

• 배포 후 평가 지표, 지연 시간, 처리량 등의 측면에서 엔드포인트를 지속적으로 모니터링할 수 있으며, 알림을 통해 흐름을 지속적으로 개선하고 LLM이 적용된 애플리케이션의 SLA를 유지할 수 있도록 지원합니다.

다른 프레임워크에서 개발한 기존 프롬프트 에셋 재사용

• LangChain과 같은 오픈 소스 라이브러리를 사용하여 이미 프롬프트와 플로우를 개발한 사용자의 경우, 프롬프트 플로우는 원활한 통합 경로를 제공해요. 이러한 호환성을 통해 기존 에셋을 프롬프트 플로우로 전환할 수 있으므로 프롬프트 엔지니어링, 평가 및 협업 작업을 용이하게 하여 프로덕션용 플로우를 준비할 수 있어요.

https://aka.ms/azureMLinsiders 에서 AzureML 인사이더 프로그램에 가입하면 MS Azure 머신러닝 새로운 도구에 대한 조기 접근 권한을 얻으실 수 있으니 놓치지 마시길 바라요!

AI 제품 PM이 선별한 AI 트렌드, AI 툴, AI 이슈에 대한 소식을 가장 빠르게 받고 싶으신 분은 인스타그램 @tech_toolkit 에서도 확인할 수 있어요.