다른 언어모델 간 심볼 공유로 학습 없이 정보 전달
Key Point
언어모델 멀티에이전트 시스템에서 학습이나 전용 번역기 없이도 다양한 모델 아키텍처 간 정보를 정확하게 전달할 수 있는 단순하고 확장 가능한 방법이 제시됐다.
핵심 요약
- 다중 에이전트 시스템에서 언어모델들이 협업할 때 내부 상태를 공유하려면 보통 학습된 번역기나 모델 호환성 가정이 필요하다.
- SYNC(Symbol-Indexed Neural Communication)는 공유 단어 리스트의 인덱스를 주고받는 방식으로 세밀 조정 없이 이질적인 모델들을 연결한다.
- 발신 모델은 질문을 보지 않고 자신이 볼 수 있는 설명만으로 객체마다 단어를 선택해 인덱스를 보내고, 수신 모델은 자신의 활성화에서 한 번 계산한 단어 방향 벡터를 이용해 숨겨진 상태에 사실을 기록한다.