프롬프트는 해법이 아니다, LLM 에이전트 운영의 현실

핵심 요약

• LLM 에이전트를 프로덕션 환경에서 안정적으로 운영하려면 구조화된 출력이나 도구 호출도 요청의 일부가 예기치 않게 실패한다.
• 모델이 지정된 길이나 형식을 지키지 않고 무작위 텍스트를 반환하거나, 같은 필드명을 다르게 부르면 갑자기 동작하는 등 근본적인 불안정성이 존재한다.
• LLM의 신뢰성 문제를 측정하려면 pass^k 방식으로 같은 작업을 반복 실행해 실패율을 모니터링해야 한다.
• 프롬프트는 새 명령을 추가할 때마다 모델의 기존 동작을 예측 불가능하게 변경하므로, 단순히 도메인 전문가가 작성한 프롬프트를 추가하는 방식으로는 확장 불가능하다.
• 에이전트의 목소리나 브랜드 톤 같은 요구사항은 프롬프트 엔지니어링만으로 일관되게 달성할 수 없으며, 다른 제약 조건 메커니즘이 필요하다.