002▲ 106 · 댓글 34284B 대형 AI 모델, GPU 없이 64GB RAM에서 실행하기llama-modchip v2.4.0은 GPU 없이 순수 CPU만으로 284B 파라미터의 DeepSeek-V4-Flash 모델을 64GB RAM에서 실행할 수 있는 오픈소스 프로젝트다.
AI · 머신러닝 · Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
003새 버전트랜스포머 5.20.0: 메타 뮤즈 스파크 오픈 등 6개 신규 모델 지원메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다.
005▲ 52 · 댓글 1BERT 인코더의 한계를 뛰어넘은 UltraBERT최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다.
AI · 머신러닝 · UltraBERT: Beyond the Limit of BERT Pre-Training
BERT 기반 인코더가 분류와 검색 작업을 함께 잘 처리하는 것이 불가능했던 문제를 처음으로 해결하며, 양방향 모델의 학습 방식과 마스킹 비율 설계에 대한 새로운 원칙을 제시한다.
핵심 요약
최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다.
연구진은 학습 설계의 핵심 선택지들을 재검토해 세 가지 주요 발견을 얻었다: (1) 인코더는 수조 개 토큰 이상에서 다운스트림 작업의 성능이 포화되어 추가 계산이 도움이 안 됨, (2) 낮은 마스킹 비율은 분류에 유리하고 높은 비율은 검색에 유리하며 이는 모델 크기와 무관하게 적용됨, (3) 증류와 프루닝은 낮은 마스킹 비율에서는 분류를 개선하지만 높은 비율에서는 검색을 악화시킴.
이 발견들을 바탕으로 UltraBERT는 배치 내에서 낮은 비율과 높은 비율의 마스킹에 각각 별도의 언어모델 헤드를 할당하고 증류 목표를 낮은 비율로만 제한하는 설계를 적용했다.