LLM 에이전트의 작업 추적 문제, '런닝탭'으로 해결
원제 RunningTab: Direct Workspace Interaction with Environment-Side Tabs
추천 34댓글 2
Key Point
LLM 에이전트가 복잡한 작업을 수행할 때 맥락 손실로 인한 정보 누락 문제를 체계적으로 해결하는 방법을 제시하므로, 에이전트 기반 자동화 시스템 설계자들이 알아야 한다.
핵심 요약
- LLM 에이전트는 작업공간의 파일들을 검색·열람하여 새로운 결과물을 만드는 직접 작업공간 상호작용(DWI)을 수행하기 시작했다.
- 하지만 현재 방식에서는 에이전트가 무엇을 읽었는지, 어떤 파일을 열지 않았는지, 작업이 무엇을 요구하는지 추적되지 않아 필요한 내용을 빠뜨린 채 결과물을 만들 수 있다.
- RunningTab은 환경 측에서 관리하는 탭으로 작업당 요구사항, 읽은 파일 목록(출처 포함), 미열람 파일 후보를 기록한다.
- 에이전트는 각 요구사항을 매칭되는 발췌문과 미열람 파일 후보 목록과 함께 볼 수 있으며, 해결 여부를 결정하거나 이유를 남길 수 있다.
- 마무리 단계에서 아직 충족하지 못한 요구사항이 있으면 에이전트에게 이를 알린다.
- 세 개 벤치마크와 세 개 LLM으로 검증한 결과, RunningTab은 순수 DWI와 모델 내 기록 방식을 일관되게 능가했다.
- 실험 후 탭에 저장된 값들이 대부분 최종 결과물에 필요한 내용이었다.