🤗안녕하세요! 모두를 위한 SW/AI 뉴스를 전하는 모두의연구소입니다!
(모두의연구소는요!) 지식을 나누며 함께 성장하는 국내 최대 AI 커뮤니티입니다🌟

그럼, 오늘의 SW/AI 데일리 뉴스를 전해 드릴게요! 

1.  Swift 5.10 릴리즈

스위프트 5.10은 컴파일 시간에 완전한 데이터 격리를 달성하여 동시성 코드의 데이터 레이스 문제를 해결합니다. 이는 스위프트 6으로의 전환을 위한 중요한 단계로, 스위프트 6에서는 기본적으로 완전한 데이터 격리를 강제할 예정입니다.

https://www.swift.org/blog/swift-5.10-released/

2. SQL Server 라이선스 비용의 실제 문제

상담 과정에서 성능 목표를 달성하기 위해 필요한 작업에 대해 논의한 후, 고객들은 종종 다른 데이터베이스 옵션에 대해 문의합니다. 특히, Microsoft SQL Server를 옹호할 것으로 기대하며 Postgres로의 전환 가능성을 조심스럽게 제기합니다. 하지만, 새로운 애플리케이션을 구축할 때 대부분의 경우 Postgres를 사용하는 것이 더 낫다고 조언하며, 이는 고객을 놀라게 합니다. 이유는 Postgres가 동일한 비용으로 더 큰 하드웨어 성능을 제공하기 때문입니다.

https://www.brentozar.com/archive/2023/11/the-real-problem-with-sql-servers-licensing-costs/

3. GaLore: LoRA보다 뛰어난 메모리 효율성과 성능을 동시에 달성하는 대규모 언어 모델 학습 전략

대규모 언어 모델(LLM) 학습 시 메모리 문제를 해결하기 위해 '그라데이션 저순위 투영(GaLore)'이라는 새로운 훈련 전략이 제안되었습니다. GaLore는 LoRA와 같은 전통적인 저순위 적응 방법보다 메모리 효율이 높으면서도 모델 성능을 유지합니다. 이 방법은 최적화 상태에서 최대 65.5%의 메모리 절감을 달성하고, 197억 개의 토큰을 포함한 C4 데이터 세트와 GLUE 작업에 대한 RoBERTa 미세 조정에서 높은 성능을 보였습니다. 또한, GaLore를 사용하여 24GB 메모리를 가진 일반 소비자용 GPU인 RTX4090에서도 7B 모델의 사전 훈련이 가능함을 입증했습니다.

https://huggingface.co/papers/2403.03507

4. SaulLM-7B: 법률 전문 대규모 언어 모델의 등장

이 논문은 법률 분야에 특화된 대규모 언어 모델(LLM), SaulLM-7B를 소개합니다. 70억 개의 파라미터를 갖춘 이 모델은 법률 텍스트 이해 및 생성을 위해 설계되었으며, Mistral 7B 아키텍처를 기반으로 합니다. 300억 개 이상의 토큰으로 구성된 영어 법률 코퍼스로 학습된 SaulLM-7B는 법률 문서를 이해하고 처리하는 데 최첨단 수준의 숙련도를 보여줍니다. 이 모델은 법률 데이터 세트를 활용한 새로운 교육용 미세 조정 방법을 통해 성능을 더욱 강화하며, CC-BY-SA-4.0 라이선스에 따라 공개됩니다.

https://huggingface.co/papers/2403.03883

🏫다른 생각에서 시작한 AI교육,
모두의연구소 AI학교 아이펠 온라인 8기
https://bit.ly/3Pcdo3q