AI 에이전트, 텍스트 해석 전 숨겨진 신호로 소통

핵심 요약

• 확산 언어모델(Diffusion Language Model)은 답변을 연속적인 상태들의 수열을 거쳐 생성하지만, 기존 다중 에이전트 시스템은 이 중간 상태들을 버리고 텍스트 디코딩 후에만 통신한다.
• 연구진은 한 에이전트의 확산 과정이 다른 에이전트에게 숨겨진 메시지를 전달할 수 있는지, 그리고 수신 에이전트가 실제로 그 메시지의 의미를 사용하는지 검증했다.
• 송신 에이전트는 노이징 제거 상태(denoising state)를 4개의 압축된 벡터로 변환하고, 수신 에이전트는 자신의 문맥과 생성 궤적을 유지하면서 이를 수용한다.
• 메시지 제거 실험은 Tiny-A2D에서 63.6점, Dream-7B에서 100.0점의 성능 저하를 보여 메시지 채널의 중요성을 입증했다.
• 메시지를 다른 예제의 메시지로 대체하는 실험에서는 수신 에이전트가 대체된 내용으로 답변 방향이 바뀌었다.
• QASC 작업에서 두 개의 핵심 정보가 에이전트 간 분산되었을 때, 올바른 통신으로 80.8% 정확도를 달성했지만 잘못된 메시지 사용 시 46.8%로 하락했다(34.0점 효과).
• 놀랍게도 단 한 번의 늦은 시점 메시지 전달(late transfer)이 87.8%의 정확도를 달성하여, 4번의 반복적 교환보다 7.0점 더 높은 성능을 보였다.
• 결과적으로 확산 기반 언어모델 에이전트 간에 연속적인 숨겨진 통신이 가능하며, 정보를 전달하는 시점이 전달 횟수보다 더 중요함을 인과적으로 증명했다.