쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
3건 · "모델 미세조정"조건 지우기 ×
001▲ 65 · 댓글 1문맥 정보를 모델의 영구 지식으로 만드는 방법큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다.AI · 머신러닝 · Cortex: Consolidating Context into Parametric Memory
Key Point문맥 정보를 임시적이 아닌 영구적 지식으로 전환하는 기술은 모델 미세조정이나 지속적 학습 환경에서 핵심적인 문제이며, 대규모 모델에서의 구체적 성능 달성(88.9% 복구율)을 보여준다.
핵심 요약
- 큰 언어모델에 주어진 문맥(context)으로 성능이 올라가지만, 문맥이 제거되면 그 이득이 사라진다.
- 생물학적 기억 통합 현상에서 영감을 얻어 Memory Consolidation(MC)을 제안한다: 문맥으로부터의 이득을 모델에 내재화하면서 다른 능력은 보존하는 것이다.
- Context-specified editing, skill learning, behavioral steering을 하나의 목표 아래 통합한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders
Key Point생의학 자연언어 이해 작업에서 검색 학습의 효과가 모델 구조에 따라 크게 달라진다는 점과 기존 강화학습 방식의 구체적인 한계를 정량적으로 규명했다.
핵심 요약
- 검색 학습으로 훈련된 생의학 문장 인코더를 스키마 제약이 있는 예/아니오 질문에 답하는 타입 결정 모델로 변환하는 SBERT2S1을 제시했다.
- 6개의 모델 쌍에서 제로샷 테스트 결과, 검색 학습이 있으면 내용 있는 선택지 매칭이 개선되는 것을 확인했다.
- 미세조정 후 효과는 모델 구조에 따라 달라졌는데, 검색 사전 정보를 유지하는 PFR 구조는 5개 모델 쌍과 3개 훈련 크기에서 15번 중 10번 개선되었으나, 교차 주의 구조(C)는 5번 악화되고 1번만 개선됐다.
전체 요약 7문장 읽기 →