쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 28일 (월)까지1186건
6건 · "LLM 학습"조건 지우기 ×
001▲ 37 · 댓글 1기초 모델 학습 데이터 준비용 분산 처리 엔진 RayOrch파운데이션 모델 학습을 위해 이질적인 문서·동영상을 정형 데이터로 변환하는 확장 가능한 파이프라인이 필요하다.AI · 머신러닝 · RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation
기초 모델 학습 데이터 준비용 분산 처리 엔진 RayOrch
Key Point파운데이션 모델의 대규모 학습 데이터 파이프라인에서 기존 시스템의 계보 추적 한계를 제거해 GPU 활용률과 처리 속도를 크게 향상시키는 실질적 해결책이다.
핵심 요약
- 파운데이션 모델 학습을 위해 이질적인 문서·동영상을 정형 데이터로 변환하는 확장 가능한 파이프라인이 필요하다.
- 각 부모 항목이 자식으로 확장될 때 자식의 개수가 들쭉날쭉하고, GPU가 부모 관계와 자식 순서·처리 상태를 유지하면서 배치 처리해야 한다.
- 기존 시스템은 병렬 처리를 숨기거나 평탄한 레코드를 노출해 애플리케이션이 계보와 재그룹화를 직접 관리하도록 강제한다.
전체 요약 9문장 읽기 →AI · 머신러닝 · onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction
토큰 단위 수정으로 LLM 학습 데이터 만드는 onPanda
Key PointLLM 기반 시스템의 학습 데이터 효율이 개선되면서 모델 정렬에 소요되는 비용이 대폭 줄어들 가능성이 생겼습니다.
핵심 요약
- onPanda는 대형언어모델의 정렬 데이터와 에이전트 궤적을 효율적으로 주석하는 대화형 도구다.
- 모델 응답을 읽으면서 부적절한 첫 토큰을 찾아 후보 토큰에서 대체하거나 자유로운 편집으로 수정한 후, 수정된 지점부터 계속 생성하는 방식으로 작동한다.
- 수동 후편집 대비 주석 작업 시간을 중앙값 기준 52% 단축하고, 최종 응답의 대부분이 모델 자체에서 생성되어 온-정책 학습 데이터로 적합하다.
전체 요약 5문장 읽기 →AI · 머신러닝 · Training a 4B model to produce 81% faster query plans than Postgres
4B 모델로 PostgreSQL 쿼리 플랜 81% 성능 개선
Key Point쿼리 최적화라는 매우 어려운 데이터베이스 문제를 작은 규모의 LLM으로 해결 가능함을 실증함으로써, AI를 데이터베이스 성능 개선에 실무적으로 적용할 수 있는 방법을 제시한다.
핵심 요약
- 연구자는 4B 파라미터 오픈웨이트 모델을 지도학습(SFT)과 강화학습(RL)으로 미세조정해 PostgreSQL 기본 쿼리 플랜을 능가하는 플랜을 생성하도록 훈련했다.
- 113개의 조인 중심 쿼리에서 44.7% 레이턴시 감소를 달성했으며, 초기에 99개 쿼리를 실행할 수 없던 모델이 성공적으로 작동하게 되었다.
- 쿼리 최적화는 조인 순서 결정이 NP-하드 문제로 알려져 있을 정도로 어려우나, 실행 시간이라는 단일 목표로 LLM 학습을 최적화할 수 있음을 보여준다.
전체 요약 4문장 읽기 →AI · 머신러닝 · MakazhanAlpamys/Soup · Python
YAML 한 줄로 LLM 학습하는 Soup, 4GB GPU에서 8B 모델 실행
Key Point로컬 저사양 GPU에서도 대규모 언어모델을 효율적으로 학습할 수 있는 실용적인 도구로, 인프라 복잡성을 제거하고 싶은 개발자와 연구진이 참고해야 한다.
핵심 요약
- Soup는 YAML 설정 파일 하나로 LLM 파인튜닝과 포스트트레이닝을 실행하는 CLI 도구다.
- 레이어 스트리밍 기술로 8B 모델을 4GB 노트북 GPU에서 학습할 수 있으며, RTX 3050에서 119.6 tok/s, 3.32GB 피크 메모리로 동작한다.
- SSH 설정 없이 로컬 GPU에서 QLoRA로 훈련 가능하며, 배치 크기와 양자화 등을 자동으로 처리한다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Learning to solve hard problems in RL for LLMs by never giving up
LLM 강화학습의 '매튜 효과' 문제 진단 및 해결책 제시
Key PointRL 기반 LLM 학습에서 성능 지표가 상승해도 실제로는 어려운 문제 해결 능력은 거의 개선되지 않는 숨은 편향을 공개하고, 계산 효율성을 통해 이 문제를 해결하는 방향을 제안하는 실증 연구이기 때문입니다.
핵심 요약
- LLM 강화학습 평가에서 평균 성능 향상이 쉬운 문제 개선에만 치우치고 어려운 문제는 거의 개선되지 않는 '매튜 효과'가 발생한다.
- 수학, 코딩, 에이전트 작업 등 여러 도메인에서 RL이 초기 성능이 좋은 작업일수록 개선폭이 크고, 원래 풀지 못하던 문제는 개선되지 않는 현상이 반복되었다.
- 더 많은 샘플링(k 값 증가)이 어려운 문제의 드문 정답은 찾지만, 동시에 쉬운 문제의 드문 오답도 증가시켜 학습 효율을 악화시킨다.
전체 요약 4문장 읽기 →AI · 머신러닝 · unclecode/crawl4ai · Python
웹 콘텐츠를 LLM 친화적 마크다운으로 변환하는 오픈소스 크롤러
Key PointLLM 시대에 웹 데이터 추출의 핵심 병목인 '어떻게 깔끔한 입력으로 변환할까'를 풀어낸 도구이며, API 종속 없이 자체 운영 가능한 오픈소스라는 점이 매력적이다.
핵심 요약
- Crawl4AI는 웹페이지를 LLM 학습에 적합한 마크다운으로 자동 변환하는 Python 기반 오픈소스 웹 크롤러·스크래퍼이다.
- 비동기 브라우저 풀, 캐싱, 세션·프록시·쿠키 제어, 사용자 스크립트 등으로 빠르고 세밀한 크롤링을 지원한다.
- v0.9.3에서 임의 파일 쓰기, SSRF, DoS 등 5개 보안 취약점을 패치했고 33개 버그를 수정했다.
전체 요약 5문장 읽기 →