LLM 추론 최적화를 사용자 맞춤형으로, PersonTTS 제안
Key Point
LLM 추론 과정을 다양한 사용자 요구(정확도·비용·속도)에 맞춰 최적화하는 문제를 처음 체계적으로 정식화하고, 이전 탐색 경험을 재사용해 계산 효율까지 확보하는 실용적 방법을 제시했다.
핵심 요약
- LLM의 테스트 타임 스케일링(TTS)은 추가 추론 계산을 할당해 추론 능력을 개선하지만, 기존 방식들은 정확도-비용 또는 정확도-지연시간 중 하나의 파레토 경계만 최적화한다.
- 사용자 요구는 다차원적이다: 정확도, 지연시간, 추론 비용을 동시에 명시할 수 있으며, 서로 다른 요구는 다른 컨트롤러를 필요로 한다.
- PersonTTS는 사용자별 요구사항을 최대한 만족시키는 실행 가능한 컨트롤러를 발견하는 스케줄링 문제로 정식화한다.