AI 에이전트의 조직 시뮬레이션으로 실무 역량 향상
원제 OfficeTown: Generative Organizations for Evolving Agent Intelligence
추천 17댓글 2
Key Point
AI 에이전트가 실무 환경에서 협력하고 책임을 나누어 작업하도록 하는 조직 시뮬레이션이 현실적 데이터 생성과 모델 성능 향상에 실제로 도움이 되는지를 규모 있게 검증한 첫 시도이기 때문이다.
핵심 요약
- AI 에이전트가 전문 작업을 처리할 때 문서와 소프트웨어를 활용하면서 누적된 자료, 의사결정, 피드백을 활용해야 한다는 점에서 출발한다.
- OfficeTown은 전문 조직의 생성형 시뮬레이션 프레임워크로, 자연어로 조직의 목적과 활동을 설명하면 구성원이 작업을 조정하고 보조 에이전트에게 과제를 위임하며 결과를 검토하는 조직을 초기화한다.
- 생성된 산출물, 의사결정, 미해결 사항은 지속되어 이후 작업에 영향을 미치며, 각 구성원의 권한과 책임이 접근 가능한 정보와 수행 범위를 결정한다.
- OfficeTown Bench는 8개 전문 분야의 23개 시뮬레이션 조직으로부터 406개 작업과 4,836개 평가 기준을 구성했으며 도메인 전문가 피드백을 반영했다.
- 최신 모델들의 평가에서 상당한 개선 여지가 남아 있음을 보였다.
- OfficeTown 데이터로 지도학습 미세조정과 정책상 증류를 수행한 결과 Qwen3.5-9B이 GDPval을 포함한 외부 전문 작업 벤치마크에서 성능이 크게 향상되었다.
- 주인-보조자 구조가 단일 에이전트 및 다중 에이전트 기준선보다 높은 점수를 달성했으며, 조직 시뮬레이션이 생성형 에이전트의 발전을 위한 실무 데이터와 환경 생성에 효과적임을 보여준다.