쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
2건 · "인과 분석"조건 지우기 ×
001▲ 10 · 댓글 6제약 디코딩, LLM 성능 해친다는 가정 재검토대형언어모델(LLM)의 제약 디코딩은 출력을 미리 정한 형식으로 제한하지만 추론 능력을 해친다는 통설을 검토했다.AI · 머신러닝 · Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
Key PointLLM의 출력 제약이 성능을 꼭 해치지 않는다는 실증적 증거로, 프롬프트 엔지니어링과 추론 시스템 설계 방식을 다시 생각하게 한다.
핵심 요약
- 대형언어모델(LLM)의 제약 디코딩은 출력을 미리 정한 형식으로 제한하지만 추론 능력을 해친다는 통설을 검토했다.
- 연구팀은 제약을 형식 제약(출력 구조 강제), 타당성 제약(잘못된 답 마스킹), 추론 제약(추론 경로 제한) 세 가지로 분류했다.
- 이론적으로 적절한 제약이 무효한 경로를 제거해 성능을 유지하거나 개선할 수 있음을 보였다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation
Key Point테스트타임 훈련에서 모델이 자신의 생성 텍스트로부터 학습할 때 나타나는 성능 저하의 인과 메커니즘을 밝히고, 이를 완화하는 구체적 방법들을 제시하기 때문에 TTT 연구자와 실무자에게 중요한 통찰을 제공한다.
핵심 요약
- 테스트타임 훈련(TTT)은 추론 중 모델이 가중치에 정보를 저장하도록 하는 방식인데, 모델이 자신의 출력으로부터 학습하면 각 업데이트가 다음 훈련 예제를 생성하는 모델을 동시에 바꾼다.
- 128K 토큰 스트림에서 생성 텍스트 업데이트를 유지하면 독립적인 인간이 쓴 텍스트에 대한 예측이 악화되는데, 이는 TTT-E2E의 125M, 760M, 3B 세 가지 모델 구성 모두에서 나타난다.
- Qwen3-4B의 기존 가중치를 Adam으로 업데이트할 때도 동일한 실패가 발생한다.
전체 요약 8문장 읽기 →