made by flamel.app

몇 주 전 오픈 소스 진영에는 한 차례 큰 사건이 발생했습니다.
바로 현존하는 최고 수준의 성능을 보이는 오픈 소스 모델 '리플렉션' 과 관련한 일입니다.

하이퍼라이트라는 AI 스타트업이 라마 3.1 70B 모델을 Reflective Tuning 으로 미세 조정(fine-tuning) 을 진행합니다. 그랬더니 현존하는 최고 수준의 오픈 소스 모델인 라마 3.1 405B 뿐만 아니라 GPT-4o, Gemini, 심지어는 Claude-3.5-Sonnet 에 비교해서도 앞서는 성능을 보였다고 발표했습니다.

출처 : x.com

이야기는 여기에서 시작합니다.

오픈 소스라는 내용에 걸맞게 허깅페이스에 모델 가중치를 업로드합니다. 그리고 연구자들은 해당 모델을 테스트했는데요. 아티피셜 애널리시스 라는 모델 평가 연구진이 해당 모델에 대한 성능 문제를 언급합니다.

출처 : x.com

이후 하이퍼라이트는 모델 업로드에 착오가 있었다며 새로운 모델을 허깅페이스에 업로드하겠다고 밝힙니다. 그리고 아티피셜 애널리시스에 재평가를 요청하며 모델 가중치가 아닌 별도의 API 를 제공합니다.

출처 : x.com

대단히 탐탁지 않은 상황에 연구자들이 다시 한 번 이 모델에 대한 평가를 진행하게 되었고, 프롬프트 세팅 및 이에 기반한 체이닝 등 Claude-3.5-Sonnet 의 하이브리드 시스템이 아닌가 하는 의문을 제기합니다. 그리고 이는 유사한 결과값을 도출한다는 점에서 기정사실화 되고 있습니다.

출처 : 링크

물론 현재 진행형의 이야기라 함부로 결과를 단언할 수는 없을 것 같습니다. 다만 이 사건에서 우리는 얼마나 최고 성능의 오픈 소스 모델을 원하는 지, 그리고 AI 연구에 있어 정확한 평가가 얼마나 중요한 지 다시금 확인하게 되는 계기가 되는 것 같습니다.