LLM 추론 최적화를 사용자 맞춤형으로, PersonTTS 제안
원제 From Pareto to Preference: Personalized Test-Time Scaling via Amortized Agentic Policy Discovery
추천 16댓글 2
Key Point
LLM 추론 과정을 다양한 사용자 요구(정확도·비용·속도)에 맞춰 최적화하는 문제를 처음 체계적으로 정식화하고, 이전 탐색 경험을 재사용해 계산 효율까지 확보하는 실용적 방법을 제시했다.
핵심 요약
- LLM의 테스트 타임 스케일링(TTS)은 추가 추론 계산을 할당해 추론 능력을 개선하지만, 기존 방식들은 정확도-비용 또는 정확도-지연시간 중 하나의 파레토 경계만 최적화한다.
- 사용자 요구는 다차원적이다: 정확도, 지연시간, 추론 비용을 동시에 명시할 수 있으며, 서로 다른 요구는 다른 컨트롤러를 필요로 한다.
- PersonTTS는 사용자별 요구사항을 최대한 만족시키는 실행 가능한 컨트롤러를 발견하는 스케줄링 문제로 정식화한다.
- 새로운 사용자 프로필마다 반복되는 정책 탐색 오버헤드를 줄이기 위해, 요구사항 매칭 컨트롤러 초기화와 소스 증류 절차 안내를 통해 이전 탐색 경험을 재사용하는 '보상 가능한 에이전틱 정책 발견' 프레임워크를 제안한다.
- 각 후보 평가는 목표 프로필에 대해 반복적으로 수행된다.
- AIME와 HMMT 문제에서 PersonTTS는 미지의 사용자 프로필과 유지 문제에 대해 기존 TTS 기준선을 크게 능가한다.
- 동일한 후보 평가 예산 하에서, 사용자 간 경험 재사용은 정책 품질을 더욱 개선하면서도 정책 발견 에이전트의 시간과 비용을 대폭 감소시킨다.