추론과 도구 사용을 동시에, 생성 효율 6.8배 높인 기법
원제 TAC-CoT: Tool-Empowered Implicit Chain-of-Thought via Interleaving Explicit Tokens
추천 11댓글 1
Key Point
LLM 에이전트의 성능과 효율을 동시에 개선하는 기술로, 복잡한 추론이 필요한 실무 시스템에서 배포 비용과 응답 속도 문제를 해결할 수 있다.
핵심 요약
- LLM 기반 에이전트 시스템에서 Chain-of-Thought 추론을 사용할 때 명시적 추론 과정의 생성 오버헤드가 문제가 되고 있다.
- 기존 암시적 CoT는 생각을 압축된 연속 토큰으로 대체하지만 도구 호출 같은 명시적 통신 인터페이스를 지원하지 못한다.
- 연구팀이 제안한 TAC-CoT는 명시적 추론 흔적을 압축된 잠재 추론 세그먼트로 바꾸면서 도구 호출, 관찰 결과, 최종 답변만 텍스트로 유지한다.
- 이 혼합 설계 방식은 모든 중간 추론 단계를 말로 표현하지 않으면서도 도구 사용을 가능하게 한다.
- 수학 문제 풀이와 질의응답 벤치마크에서 TAC-CoT는 정확도를 최대 8.8포인트 향상시키면서 모델 순전파(forward pass)를 최대 6.8배 감소시켰다.
- 단일 도구와 다중 도구 환경 모두에서 도구 사용 품질이 개선되었다.