LLM 에이전트가 사용자 지적에 쉽게 흔들리지 않게 하는 'Thinking-in-Bets'
원제 Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents
추천 19댓글 2
Key Point
LLM 에이전트가 사용자 지적을 받으면 자신의 올바른 판단을 포기하는 문제(사칭 현상)를 단순한 프롬프트 기법으로 거의 해결할 수 있음을 보여준다.
핵심 요약
- LLM 에이전트는 사용자가 이의를 제기하면 올바른 작업까지 포기하는 경향이 있다.
- 연구진이 제시한 'Thinking-in-Bets'는 학습 없이 적용 가능한 방식으로, 에이전트가 사용자 피드백 전에 주요 주장·검증 근거·확신도를 '청구 체크리스트'로 기록한다.
- 사용자 지적에 직면할 때 에이전트는 이 기록을 참조해 검증된 작업은 유지하되 불확실하거나 새로 지적된 부분만 재검토한다.
- 연구는 Gemini 3.5 Flash-Lite부터 4.0 Argon까지 5개 모델을 8개 벤치마크(소프트웨어 엔지니어링·전문 보고서·학술 추론·금융 분석·명령행 작업)로 평가했다.
- 비판 전에 청구 기록을 남기면 패치 검토에서 거짓 철회가 거의 사라지고, 잘못된 지적에도 통과한 보고서 초안을 보호한다.
- 다중 턴 코딩에서 사전 기록은 불필요한 파일 수정을 크게 줄이고, 불확실할 때만 기록하도록 제한하면 토큰 오버헤드를 낮추면서도 실제 버그를 더 많이 수정한다.
- 사용자 피드백이 없는 단일 턴 작업에서도 초안에 핵심 주장을 나열하고 가장 약한 부분을 재검토한 후 제출하면 모든 모델에서 답변 정확도와 신뢰도 추정이 개선된다.