쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
3건 · "적응 학습"조건 지우기 ×
001▲ 23 · 댓글 1자가생성 피드백이 테스트타임 훈련을 불안정하게 만든다테스트타임 훈련(TTT)은 추론 중 모델이 가중치에 정보를 저장하도록 하는 방식인데, 모델이 자신의 출력으로부터 학습하면 각 업데이트가 다음 훈련 예제를 생성하는 모델을 동시에 바꾼다.AI · 머신러닝 · Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation
Key Point테스트타임 훈련에서 모델이 자신의 생성 텍스트로부터 학습할 때 나타나는 성능 저하의 인과 메커니즘을 밝히고, 이를 완화하는 구체적 방법들을 제시하기 때문에 TTT 연구자와 실무자에게 중요한 통찰을 제공한다.
핵심 요약
- 테스트타임 훈련(TTT)은 추론 중 모델이 가중치에 정보를 저장하도록 하는 방식인데, 모델이 자신의 출력으로부터 학습하면 각 업데이트가 다음 훈련 예제를 생성하는 모델을 동시에 바꾼다.
- 128K 토큰 스트림에서 생성 텍스트 업데이트를 유지하면 독립적인 인간이 쓴 텍스트에 대한 예측이 악화되는데, 이는 TTT-E2E의 125M, 760M, 3B 세 가지 모델 구성 모두에서 나타난다.
- Qwen3-4B의 기존 가중치를 Adam으로 업데이트할 때도 동일한 실패가 발생한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · VisionHOPE: Visual Backbones as Self-Modifying Learning Systems
Key PointCNN에서 Vision Transformer를 거쳐 Test-Time Training까지 진화해온 비전 백본을 자기 적응 학습 시스템으로 재구성하는 새로운 접근이 어떻게 안정성을 확보하고 실제 성능을 올렸는지 보여주는 논문이다.
핵심 요약
- VisionHOPE는 이미지 처리 중 모델의 메모리와 학습 규칙이 함께 진화하는 자기수정 학습 시스템 형태의 비전 백본이다.
- Nested Learning의 자기참조 구조를 기반으로, 내용 저장, 키·값 표현 생성, 학습률 및 메모리 보유를 관장하는 5개의 연결된 메모리를 통해 진화를 구현한다.
- 직접 적용 시 불안정성이 발생하므로, 자기참조 주입에 소프트 캡을 씌우고 메모리 전환에 스펙트럼 클램프를 적용하는 단계 크기 제어 방식을 개발했으며, 이 메모리 동역학이 비확대(non-expansive)임을 증명했다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Ember-1
Key Point추론 토큰이 비용의 대부분을 차지하는 AI 워크로드(특히 에이전트 작업)에서 비용을 획기적으로 줄일 수 있는 방법이 실제로 작동한다는 검증된 사례이기 때문이다.
핵심 요약
- Fireworks Research가 Kimi K3를 기반으로 한 Ember-1 모델을 공개했으며, 같은 품질을 유지하면서 토큰을 40% 감소시켰다.
- K3의 장황한 추론(최대 90% 이상이 내부 추론에 사용)으로 인한 비용 문제를 해결하기 위해, 불필요한 추론은 제거하고 의미 있는 사고만 보존하도록 훈련했다.
- 이를 위해 50회 이상의 훈련 실험과 200회 이상의 평가를 수행했으며, 추론 토큰을 줄이면서 정확도를 잃지 않기 위한 새로운 훈련 알고리즘을 개발했다.
전체 요약 12문장 읽기 →