대화 모델, 사용자의 방언에 맞춰 응답하도록 학습
원제 Answering in the User's Variety: Calibrated Accommodation Pairs for Post-Training
추천 16댓글 2
Key Point
AI 모델의 공정성 이슈로, 특정 인종·지역 방언을 상대로 한 은연중 차별이 학습 단계에서 어떻게 발생하는지, 그리고 이를 기술적으로 개선할 수 있는지를 보여준다.
핵심 요약
- 사람들은 상대방에 따라 말투를 달리 하지만, 현재의 채팅 모델은 사용자가 비표준 영어나 방언을 써도 표준 영어로만 응답한다.
- 연구팀은 지도 학습(SFT)에서 선호도 최적화(DPO)와 강화학습까지 각 학습 단계에서 모델의 사용자 모방 경향이 어떻게 바뀌는지 추적했다.
- 10개 오픈 모델에서 학습 후 단계들은 모든 비공식적 표현을 표준화했으나, 응답 확률을 보정한 후에도 DPO는 아프리카계 미국인 영어(AAE)와 싱글리시보다 영국·호주 영어 철자 일치를 선호했다.
- 연구팀은 보정된 수용 쌍(CAP)이라는 선호도 데이터를 제안했는데, 사용자의 방언 밀도에 맞추면서도 표준 영어 사용자에게는 표준 영어를 유지한다.
- 완전 오픈 모델에서 CAP는 학습하지 않은 기능까지 수렴도를 높였으면서, 표준 영어 사용자에게서 방언 증가나 지시 따르기 능력 저하를 감지할 수 없었다.
- 한쪽 방향 쌍 방식은 비슷한 성과를 얻으려면 사용자의 방언을 과도하게 모방했다.
- 균일한 응답이 선택적 업데이트를 감출 수 있으므로, 감시 시스템은 출력뿐 아니라 학습 과정도 분석해야 한다고 주장한다.