쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3647건
2건 · "컴퓨터 제어 AI"조건 지우기 ×
001 18:33 ▲ 11 · 댓글 2 데스크톱 환경 기반 대규모 AI 에이전트 학습 데이터셋 DeskForge 공개 컴퓨터 제어 AI 에이전트가 복잡한 데스크톱 화면에서 정확히 액션 타겟을 찾도록 학습하는 것이 주 과제인데, 기존 학습 데이터는 밀집된 주석이나 다양한 시나리오가 부족하다. AI · 머신러닝 · DeskForge: Dense Supervision from Desktop Environments for Computer-Use Agents
Key Point 컴퓨터 화면에서 정확히 동작하는 AI 에이전트를 만들려는 개발자들이 활용할 수 있는 대규모 고품질 학습 데이터셋이 공개되었으며, 기존 모델들의 성능을 10%대 향상시키는 데 직접 기여하고 있다.
핵심 요약
컴퓨터 제어 AI 에이전트가 복잡한 데스크톱 화면에서 정확히 액션 타겟을 찾도록 학습하는 것이 주 과제인데, 기존 학습 데이터는 밀집된 주석이나 다양한 시나리오가 부족하다. DeskForge는 실제 애플리케이션들을 조합·제어하면서 자동으로 대규모 감독 신호를 생성하는 데스크톱 환경이며, 앱 상태·콘텐츠·창 배치·외관·해상도를 변화시키고 스크린샷과 접근성 트리·창 기하 정보를 융합해 밀집 요소 주석을 만든다. 이를 통해 DeskForge-1M이라는 1.2M 주석 데스크톱 관찰과 159.7M 요소 인스턴스로 이루어진 데이터셋을 구축했다. 전체 요약 7문장 읽기 → 002 18:35 ▲ 22 · 댓글 2 컴퓨터 제어 AI, 최종 결과만 아니라 '과정'으로 평가한다 기존 OSWorld는 컴퓨터 제어 에이전트(CUA)가 생성한 최종 결과만 평가하는 방식으로, 어느 단계에서 어떤 방식으로 실패했는지 파악하기 어려웠다. AI · 머신러닝 · OSWorld-Pro: Process-based Evaluation for Computer Use Agents
Key Point 컴퓨터 제어 AI의 성능을 정확히 측정하려면 최종 결과뿐 아니라 각 단계의 실패 원인을 파악해야 하는데, 이 벤치마크가 그 해법을 제시한다.
핵심 요약
기존 OSWorld는 컴퓨터 제어 에이전트(CUA)가 생성한 최종 결과만 평가하는 방식으로, 어느 단계에서 어떤 방식으로 실패했는지 파악하기 어려웠다. 새로운 평가 벤치마크 OSWorld-Pro는 300개 이상의 작업에 포함된 2800개 이상의 세부 목표(서브골)를 설정하고, 6만 7000건 이상의 인간 주석을 수집했다. LLM 판사를 활용해 각 서브골의 완료 여부를 평가함으로써 에이전트가 순차적으로 연결된 목표들을 단계별로 어떻게 수행하는지 추적한다. 전체 요약 5문장 읽기 → 
