🤗안녕하세요! 모두를 위한 SW/AI 뉴스를 전하는 모두의연구소입니다!
(모두의연구소는요!) 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다🌟

그럼, 오늘의 SW/AI 데일리 뉴스를 전해 드릴게요! 

🗞️ SW/AI 한줄 뉴스

1. 악용되는 AI... 무단 사용 금지 촉구한 빌리 아일리시·케이티 페리

https://www.aitimes.com/news/articleView.html?idxno=158487

2. 층간소음의 새로운 해결법..? 시끄러운 이웃집 스피커 끄는 AI의 등장

https://www.aitimes.com/news/articleView.html?idxno=158496

🤵 빠르다 빨라 AI 세상

1. Jamba: Transformer와 Mamba의 혁신적 결합

본 논문에서는 Transformer와 Mamba 계층을 결합한 새로운 대규모 언어 모델 아키텍처인 Jamba를 소개합니다. Jamba는 Transformer와 Mamba 계층을 교차 배치하고 일부 계층에 Mixture-of-Experts(MoE)를 추가하여 모델 용량을 늘리면서도 계산 요구량을 관리할 수 있도록 설계되었습니다. 이러한 유연한 아키텍처를 통해 리소스와 목적에 맞는 구성이 가능해졌습니다. 구현된 Jamba 모델은 단일 80GB GPU에 탑재될 수 있으면서도 높은 처리량과 작은 메모리 사용량을 보이며, 표준 언어 모델 벤치마크와 장문맥 평가에서 최고 수준의 성능을 달성했습니다. 특히 최대 256K 토큰의 문맥 길이에서도 강력한 결과를 보여주었습니다. 본 연구는 Transformer와 Mamba 계층의 결합 방식, 전문가 혼합 방식 등 다양한 아키텍처 설계 선택이 대규모 모델링에 중요함을 보여줍니다.

https://huggingface.co/papers/2403.19887

2. AURORA-M: 안전 지침으로 파인튜닝된 최초의 오픈소스 다국어 모델

이 논문은 영어, 핀란드어, 힌디어, 일본어, 베트남어, 코드로 구성된 대규모 다국어 오픈소스 언어 모델인 AURORA-M을 소개합니다. AURORA-M은 StarCoderPlus로부터 4,350억 개의 추가 토큰을 통해 지속적으로 사전 학습되었으며, 총 학습 토큰 수는 2조 개를 넘어섰습니다. 이 모델은 사람이 검토한 안전 지침으로 파인튜닝된 최초의 오픈소스 다국어 모델로서, Biden-Harris 행정부의 AI 개발 및 사용에 관한 행정명령의 우려 사항뿐만 아니라 일반적인 red-teaming 고려 사항에 맞게 개발되었습니다. AURORA-M은 다양한 작업과 언어에 대해 엄격하게 평가되었으며, 파국적 망각에 대한 견고성을 보여주었고, 특히 안전성 평가에서 다국어 환경에서 기존 대안들을 능가하는 성능을 보여주었습니다.

https://huggingface.co/papers/2404.00399

🏫 다른 생각에서 시작한 AI교육,
모두의연구소 AI학교 아이펠 온라인 8기
https://bit.ly/3Pcdo3q