made by flamel.app

몇 주 전 오픈 소스 진영에는 한 차례 큰 사건이 발생했습니다.
바로 현존하는 최고 수준의 성능을 보이는 오픈 소스 모델 '리플렉션' 과 관련한 일입니다.

하이퍼라이트라는 AI 스타트업이 라마 3.1 70B 모델을 Reflective Tuning 으로 미세 조정(fine-tuning) 을 진행합니다. 그랬더니 현존하는 최고 수준의 오픈 소스 모델인 라마 3.1 405B 뿐만 아니라 GPT-4o, Gemini, 심지어는 Claude-3.5-Sonnet 에 비교해서도 앞서는 성능을 보였다고 발표했습니다.

출처 : x.com

이야기는 여기에서 시작합니다.

오픈 소스라는 내용에 걸맞게 허깅페이스에 모델 가중치를 업로드합니다. 그리고 연구자들은 해당 모델을 테스트했는데요. 아티피셜 애널리시스 라는 모델 평가 연구진이 해당 모델에 대한 성능 문제를 언급합니다.

출처 : x.com