쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
7건 · "UI 자동화"조건 지우기 ×
001 21:11 ▲ 174 · 댓글 2 GUI 에이전트의 공격 탐지, 화면 아닌 '전환' 검증이 핵심 GUI 에이전트의 보안 위협은 화면 자체가 아닌 사용자 액션 이후의 상태 전환에 있다는 통찰을 제시했다. 예를 들어 Sign in 탭 후 로그인 화면은 정상이지만, View order 탭 후 같은 화면이 나타나면 공격이다. AI · 머신러닝 · Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents
Key Point GUI 자동화 에이전트가 확산되는 상황에서 화면 자체가 아닌 '상태 전환'을 검증하는 새로운 보안 접근이 기존 월드 모델 기반 방법보다 훨씬 빠르고 정확하다는 점이 주목된다.
핵심 요약
GUI 에이전트의 보안 위협은 화면 자체가 아닌 사용자 액션 이후의 상태 전환에 있다는 통찰을 제시했다. 예를 들어 Sign in 탭 후 로그인 화면은 정상이지만, View order 탭 후 같은 화면이 나타나면 공격이다. 기존 GUI 월드 모델은 다음 상태를 텍스트·코드·이미지로 출력해 검증 시 별도 모델로 비교해야 하는데, 이는 비효율적이다. LGWM이라는 디코더 없는 액션 조건부 월드 모델을 제안했으며, 185만 개 실제 GUI 전환 데이터로 의미론적 주석 없이 학습했다. 전체 요약 8문장 읽기 → 002 12:11 ▲ 227 · 댓글 3 멀티모달 GUI 에이전트의 주의력 집중 방식 FocusGUI 스크린샷, 오디오, 비디오, 상호작용 이력, 기기 상태 등 다양한 입력 정보를 처리하는 GUI 에이전트에서, 모든 정보를 동등하게 처리하면 불필요한 정보가 노이즈가 되어 에이전트의 판단을 방해하는 '순차 산만함(Sequential Distraction)' 문제가 발생한다. AI · 머신러닝 · Focused Omni-Modal GUI Agents
Key Point 멀티모달 정보를 처리하는 GUI 자동화 에이전트가 불필요한 정보로 인한 오류를 줄이고 성능을 대폭 향상시키는 새로운 방식을 제시하고 있다.
핵심 요약
스크린샷, 오디오, 비디오, 상호작용 이력, 기기 상태 등 다양한 입력 정보를 처리하는 GUI 에이전트에서, 모든 정보를 동등하게 처리하면 불필요한 정보가 노이즈가 되어 에이전트의 판단을 방해하는 '순차 산만함(Sequential Distraction)' 문제가 발생한다. 각 단계마다 실제로 필요한 정보는 다르므로, 단계별로 적응적이고 행동 충분하며 비방해적인 '집중된 인식'을 요구한다. FocusGUI는 경량 어댑터로서 현재 의사 결정에 필요한 멀티모달 채널을 동적으로 우선순위화하고, 가장 관련성 높은 정보를 압축된 잠재 표현으로 변환한다. 전체 요약 7문장 읽기 → 003 15:11 ▲ 40 · 댓글 4 모바일 에이전트 성능 비약 MobileGym++로 일상 앱 제어 학습 OpenMobile-2는 완전히 공개된 훈련 환경과 레시피로 모바일 에이전트를 구축한 시스템이다. AI · 머신러닝 · OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools
Key Point 모바일 AI 에이전트가 일상 앱을 자동 제어하는 수준이 실제 기기에서 거의 2배로 개선되었으며, 12,000개 데이터와 300개 도구 같은 대규모 공개 자산이 학계의 진입장벽을 낮춘다.
핵심 요약
OpenMobile-2는 완전히 공개된 훈련 환경과 레시피로 모바일 에이전트를 구축한 시스템이다. MobileGym++은 실제 상용 앱을 모방한 35개 앱으로 시작하며 안드로이드 에뮬레이터의 앱들을 포함해 총 110개 이상의 앱을 제공한다. 교차 앱 워크플로우를 지원하면서도 리셋과 검증을 위해 완전한 제어 가능성을 유지한다. 전체 요약 8문장 읽기 → 004 15:11 ▲ 41 · 댓글 1 GUI 에이전트, 단계별로 메모리 형식 바꾼다 비전-언어 모델을 사용한 GUI 에이전트에서 메모리 증강 기법이 주목받고 있지만, 기존 방식들은 고정된 표현 형식(텍스트 또는 영상)을 사용하고 있다. AI · 머신러닝 · Learning How to Remember: Memory Modality Selection for GUI Agents
Key Point GUI 자동화 에이전트의 정확도를 높이는 방식이 기존 가정(고정 메모리 형식)과 다르며, 이를 인식한 동적 선택 기법이 실제로 성능 개선으로 이어지는 실증적 근거를 제시했다.
핵심 요약
비전-언어 모델을 사용한 GUI 에이전트에서 메모리 증강 기법이 주목받고 있지만, 기존 방식들은 고정된 표현 형식(텍스트 또는 영상)을 사용하고 있다. 연구팀은 세 개의 GUI 벤치마크에서 최적의 메모리 표현이 상호작용 단계마다 달라진다는 사실을 발견했다. 이 결과를 바탕으로 SwitchMem 프레임워크를 제안했다. 이는 각 단계에서 텍스트와 영상 메모리 표현 중 하나를 동적으로 선택한다. 전체 요약 5문장 읽기 → 005 22:29 당일 +107 AI 에이전트, 접근성 API로 모든 앱 조종하다 Rust로 만든 Agent Desktop은 OS 접근성 트리(accessibility tree)를 읽어 AI 에이전트가 데스크톱 앱을 안정적으로 조종할 수 있게 한다. AI · 머신러닝 · lahfir/agent-desktop · Rust
Key Point AI 에이전트가 픽셀 인식을 넘어 실제 UI 구조로 데스크톱을 조종하는 방식이 바뀌고 있으며, 안정적인 요소 참조와 재시도 가능성이 생산성 높은 자동화의 핵심이기 때문이다.
핵심 요약
Rust로 만든 Agent Desktop은 OS 접근성 트리(accessibility tree)를 읽어 AI 에이전트가 데스크톱 앱을 안정적으로 조종할 수 있게 한다. 픽셀 기반 추측 대신 실제 UI 구조를 파악하므로, 요소 참조(ref)가 안정적이고 작업 재시도가 안전하다. Rust 네이티브 CLI는 의존성이 없는 단일 바이너리이고, Python/Swift/Go/Ruby/Node/C 등에서 사용할 C-ABI cdylib도 제공한다. 전체 요약 13문장 읽기 → 006 16:18 ▲ 29 · 댓글 1 디지털 환경 통합 제어하는 AI 에이전트 MintAct 공개 Hugging Face가 모바일·데스크톱·웹 환경을 통합으로 제어하는 비전-언어 모델 MintAct를 발표했다. AI · 머신러닝 · MintAct: A Unified Visual Agent for Digital Environments
Key Point 다양한 디지털 환경을 하나의 모델로 제어할 수 있는 AI 에이전트 기술이 실무 수준의 성능에 도달했기에 자동화 애플리케이션 개발에 영향을 미칠 수 있다.
핵심 요약
Hugging Face가 모바일·데스크톱·웹 환경을 통합으로 제어하는 비전-언어 모델 MintAct를 발표했다. 2B부터 8B 규모로 학습된 MintAct는 UI 인식, 다단계 네비게이션, 시각 도구 사용을 한 모델에서 수행한다. 수백 개의 동시 환경 인스턴스와 비동기 강화학습 프레임워크로 도메인 간 학습을 효율화했다. 전체 요약 4문장 읽기 → 007 21:10 당일 +931 여러 AI 에이전트를 한곳에서 관리하는 통합 개발 도구 Orca Orca는 Codex, Claude Code, OpenCode 등 여러 코딩 에이전트를 각각의 독립된 git 워크트리에서 나란히 실행하고 비교·통합할 수 있는 개발 환경이다. AI · 머신러닝 · stablyai/orca · TypeScript
Key Point 여러 AI 에이전트의 결과를 한 곳에서 병렬로 비교할 수 있는 통합 개발 환경이 필요한 개발자와 팀에게 새로운 워크플로우를 제시한다.
핵심 요약
Orca는 Codex, Claude Code, OpenCode 등 여러 코딩 에이전트를 각각의 독립된 git 워크트리에서 나란히 실행하고 비교·통합할 수 있는 개발 환경이다. 데스크톱, 모바일, SSH 원격 서버에서 실행되며, 모바일 앱에서는 에이전트의 진행 상황을 모니터링하고 지시를 내릴 수 있다. WebGL 기반 터미널 분할, 디자인 모드로 UI 요소를 클릭하면 HTML·CSS·스크린샷을 프롬프트에 자동 입력, GitHub와 Linear를 앱 내에서 네이티브 통합 등 기능을 제공한다. 전체 요약 5문장 읽기 →