Hugging Face 논문AI · 머신러닝

모델과 데이터가 함께 진화하는 의사결정 AI 'Piccolo' 공개

원제 Piccolo: Co-Evolving Decision Models and Data through Recursive Self-Improvement

추천 13댓글 2Zhenqing Ling, Qirui Jiao, Daoyuan Chen 외
Key Point

모델 아키텍처보다 데이터 큐레이션이 성능을 크게 좌우한다는 발견과 작은 모델이 큰 모델과 경쟁할 수 있다는 결과는 AI 모델 개발 방식의 근본적 전환을 시사한다.

핵심 요약

  • Hugging Face는 Piccolo라는 멀티모달 의사결정 모델 계열(0.8B~27B)을 발표했으며, 이는 에이전트 기반 데이터 엔지니어링과 재귀적 자기 개선(RSI)을 통해 모델 능력과 학습 데이터를 함께 진화시킨다.
  • Piccolo는 텍스트와 시각 판단, 에이전트 도구, 데이터 워크플로우, 대화형 게임 등에서 후보 답안에 대한 확률을 예측한다.
  • Piccolo-27B는 Decision Index Vision Full 리더보드에서 75.59점으로 1위이며, Piccolo-9B(68.35점)와 Piccolo-4B(67.46점)도 각 크기 범주에서 Private 벤치마크 1위를 차지한다.
  • 개발 과정에서 연구 에이전트가 모델 동작을 분석하고 학습 데이터를 구성하며 실험을 수행한 뒤, 그 결과로 다음 제안을 개선한다.
  • 의미론적 데이터 슬라이싱과 공유 연구 메모리가 모델 계열 개발 전반에 걸쳐 이러한 과정들을 연결한다.
  • 수백만 개의 예제로 구성된 학습 레시피를 통해 데이터 선택과 피드백 기반 개선이 자기 개선 프로세스의 핵심이다.
  • 대규모 RSI 탐색 결과 세 가지 역직관적 통찰이 나타났다: (1) 더 최신의 백본보다 백본-레시피 공동 적응이 더 중요하며, 동일한 레시피에서 과거 백본이 시각 작업에서 최신 세대를 능가할 수 있다. (2) 목표 지향적 데이터 큐레이션으로 4B-9B 모델이 특정 워크플로우에서 27B 베이스라인과 경쟁할 수 있다. (3) 지속적인 손실 감소가 이산 의사결정 정확도와 분리되거나 오히려 성능을 저하시킬 수 있다.
  • Data-Juicer와 AgentScope 생태계의 가중치와 도구를 함께 공개한다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗