LLM 에이전트, 출처에 따라 상품 선택 편향 보여
Key Point
LLM 에이전트가 사용자 의사결정을 대신하는 세상에서 숨겨진 출처 편향이 실제 추천 결과를 왜곡하는 메커니즘과 대응 방법을 구체적으로 보여준다.
핵심 요약
- LLM 에이전트가 사용자를 대신해 상품·숙소·논문을 추천할 때 출처(웹사이트·서비스)에 따라 선호도가 달라지는 현상을 12개 모델, 3개 도메인으로 검증했다.
- 같은 조건을 만족하는 상품을 비교하면 각 모델이 특정 출처를 선호하고 다른 출처는 회피했으며, 모델들이 선호 출처에서 크게 합의했다.
- 이 출처 편향이 요구사항 충족도를 능가했다: 요구사항을 하나 덜 충족하는 상품이 선호 출처에서 오면 약 2/3 확률로 선택되지만, 비선호 출처 상품이 더 나으면 거의 선택되지 않았다.