📮 5월 27일에 [먀. AI 뉴스레터]로 발행한 글입니다.

"그, 뭐더라, 그거 어딨죠?"

“아까 뽑으신 자료요? 제가 책상 위에 올려뒀어요!”

개떡같이 말해도 찰떡같이 알아듣는 동료와 일을 하고 계신가요? AI와 일하는 세상이 온다면 더 이상 이런 호사는 누리지 못할지도 모릅니다. 인공지능은 문맥을 파악해야 하는 다중 턴(multi-turn) 대화 환경에서 성능이 심각하게 저하되기 때문인데요. 성능이 왜, 어떻게, 얼마나 안 좋아지는지, 그리고 어떻게 대응하면 좋을지 함께 알아볼까요? 🔎

두둥- 연구의 서막

마이크로소프트와 세일즈포스의 연구진은 실제로 LLM을 사용하는 방식이 성능 평가에 정확히 반영되지 않은 점을 지적하며 연구를 시작합니다.