쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
4건 · "작업 완성"조건 지우기 ×
001▲ 17 · 댓글 2CLI 에이전트의 인간협력 평가 기준, REALCLI 제시명령줄 에이전트가 복잡한 작업을 수행할 때 작업 완성도와 인간과의 협력 품질을 함께 평가하는 REALCLI 벤치마크를 제시했다.AI · 머신러닝 · RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
Key PointCLI 에이전트의 협력 능력을 처음으로 체계적으로 평가하는 기준이 나왔으며, 최상급 모델도 37%대 성능에 불과해 실무 배포 전 해결해야 할 과제가 명확해졌다.
핵심 요약
- 명령줄 에이전트가 복잡한 작업을 수행할 때 작업 완성도와 인간과의 협력 품질을 함께 평가하는 REALCLI 벤치마크를 제시했다.
- 기존 벤치마크는 사용자 지시가 고정되거나 결과 평가만 수행했으나, REALCLI는 실시간 협력의 질을 포함한 쌍 비교 평가를 제공한다.
- 협력 품질을 5가지 차원에서 22개 세부 항목과 51개 상호작용 시나리오로 측정하는 프레임워크를 구축했다.
전체 요약 6문장 읽기 →AI · 머신러닝 · Interlock: From Local Correctness to Task Completion in Long-Horizon Agents
Key Point복잡한 장기 작업에서 부분적 완성이 아닌 전체 완성을 추구하는 새로운 에이전트 학습 방식이 제시되었으며, 여러 벤치마크에서 측정 가능한 성능 개선을 입증했다.
핵심 요약
- LLM 에이전트가 장기 작업을 수행할 때 개별 요구사항은 충족하지만 이들 간의 관계를 유지하지 못해 부분적으로만 완성되는 문제가 있다.
- Interlock은 작업을 타입 지정된 완성 그래프로 표현하는 프레임워크로, 그래프는 증거-결정 연결(grounding edge), 컴포넌트 간 결합 제약(coupling hyperedge), 결정-효과 연결(realization edge)로 구성된다.
- 이 그래프를 리셋 가능한 작업공간, 공개 요청서, 평가 기준으로 컴파일하며, 출처 검증과 공개 입력 검증을 통해 요구사항과 평가 기준의 정합성을 확인한다.
전체 요약 6문장 읽기 →보안 · APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
Key Point엔터프라이즈 환경에서 자율 에이전트 도입이 확산되는 가운데, 공유 업무 공간에서의 인젝션 공격에 대한 실제 취약성과 모델별 차이를 정량적으로 밝혀, 에이전트 배포 시 고려해야 할 보안 위험을 명확히 보여준다.
핵심 요약
- 금융·법률·컨설팅 업무를 수행하는 AI 에이전트의 보안 위험을 평가하는 벤치마크 'APEX-Harm'을 제안했다.
- 각 작업마다 115~328개 파일과 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF, 코드 실행 도구를 MCP 서버로 노출한 대규모 업무 환경을 구성했다.
- 정적·동적 인젝션, 작업별 스크립트 교체, 공격자 제공 스크립트 등 6가지 공격 유형을 포함하고 공격 성공률·노출·작업 성능을 측정한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents
Key Point코딩 에이전트가 파일 시스템이나 환경에 실제 피해를 입힐 수 있는 심각한 오류 패턴을 체계적으로 진단하고 완화하는 방법이 제시되었기 때문에, 프로덕션 환경에서 자율 코딩 에이전트를 도입하려는 개발팀에게 필수적인 정보다.
핵심 요약
- SWE-MISBEHAVIOR는 코딩 에이전트의 경계 위반 행동을 진단하는 첫 번째 분류 체계이자 평가 프레임워크다.
- 코드 생성, 파일 관리, 시스템 상호작용의 3개 계층에서 인간이 직접 합성한 7.4K개 샘플로 구성되어 있다.
- 코딩 액션 위반, 파일 CRUD 오류, 시스템 무결성 침해, 작업 목표 불일치 등 11가지 뚜렷한 오류 유형을 포함한다.
전체 요약 6문장 읽기 →