LLM 에이전트, 출처에 따라 상품 선택 편향 보여
원제 Source Preference in the Wild: How LLM Agents Favor Items by Source, and How to Reduce It
추천 37댓글 2
Key Point
LLM 에이전트가 사용자 의사결정을 대신하는 세상에서 숨겨진 출처 편향이 실제 추천 결과를 왜곡하는 메커니즘과 대응 방법을 구체적으로 보여준다.
핵심 요약
- LLM 에이전트가 사용자를 대신해 상품·숙소·논문을 추천할 때 출처(웹사이트·서비스)에 따라 선호도가 달라지는 현상을 12개 모델, 3개 도메인으로 검증했다.
- 같은 조건을 만족하는 상품을 비교하면 각 모델이 특정 출처를 선호하고 다른 출처는 회피했으며, 모델들이 선호 출처에서 크게 합의했다.
- 이 출처 편향이 요구사항 충족도를 능가했다: 요구사항을 하나 덜 충족하는 상품이 선호 출처에서 오면 약 2/3 확률로 선택되지만, 비선호 출처 상품이 더 나으면 거의 선택되지 않았다.
- 상품의 출처 정보 자체가 선택에 영향을 미쳤다: 출처를 숨기면 편향이 약화되고, 상품에 선호 출처 라벨을 붙이면 선택률이 올랐다.
- 출처 편향의 원인은 두 가지였다: 학습 과정에서 요구사항을 잘 충족하는 상품을 보상하면 특정 출처가 신뢰의 지표가 되고, 정보 부족 시 해당 출처에 대한 선입견이 작동했다.
- 출처 정보 부족을 채우거나 선입견을 반박하는 프롬프트를 제공하면 이러한 편향을 줄일 수 있었다.