쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
10건 · "AI 평가"조건 지우기 ×
001▲ 31 · 댓글 3여러 이미지 참고한 생성형 AI 평가 벤치마크 'LongBanana' 공개생성형 AI가 여러 이미지에서 정보를 모아 하나의 일관된 이미지를 만드는 능력을 평가하는 벤치마크 'LongBanana'가 공개되었다.AI · 머신러닝 · LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis

Key Point멀티모달 AI의 복잡한 시각적 추론 능력을 체계적으로 평가할 새로운 표준이 생겼으며, 에이전트 기반 생성형 AI 개발에 구체적인 벤치마크를 제공한다.
핵심 요약
- 생성형 AI가 여러 이미지에서 정보를 모아 하나의 일관된 이미지를 만드는 능력을 평가하는 벤치마크 'LongBanana'가 공개되었다.
- 산업 전문가가 직접 설계·검증한 첫 벤치마크로, 흩어진 시각 정보 수집, 관련 없는 정보 제거, 개체와 관계 연결, 최종 이미지 구성을 포함한 여러 단계의 작업을 요구한다.
- 벤치마크는 3×3 분류법으로 구성된 90개 과제를 담고 있으며, 각 과제당 약 32개 참고 이미지, 20개 제약조건, 50개 평가 항목으로 총 4,670개의 전문가 검증 평가 항목을 포함한다.
전체 요약 8문장 읽기 → 002▲ 55 · 댓글 1AI 에이전트의 물리 연구 역량 평가하는 벤치마크 등장물리학자 42명이 자신의 연구를 바탕으로 만든 56개 과제로 구성된 'FrontierPhysics' 벤치마크가 공개되었다.AI · 머신러닝 · FrontierPhysics: Evaluating Agents for End-to-End Physics Research

Key PointAI 에이전트가 실제 과학 연구 수준으로 평가받는 첫 사례로, 단순 문제 풀이를 넘어 연구 품질까지 판단하는 기준이 제시되었기 때문이다.
핵심 요약
- 물리학자 42명이 자신의 연구를 바탕으로 만든 56개 과제로 구성된 'FrontierPhysics' 벤치마크가 공개되었다.
- 이론물리, 계산물리, 실험물리 등 9개 분야를 다루며, 에이전트가 문헌 검토부터 연구 계획 수립, 실험 수행, 논문 작성까지 전 과정을 수행하도록 평가한다.
- 결정론적 검증과 전문가 작성 평가 기준을 결합하여 AI 에이전트의 연구가 정확성과 게재 가능성(출판 품질)을 모두 갖춘지 평가한다.
전체 요약 5문장 읽기 → 003▲ 14 · 댓글 1AI 에이전트의 팀플레이 능력을 측정하는 벤치마크 등장AI 연구는 개별 모델의 성능에만 집중해왔지만, 과학·의학·수학·소프트웨어 분야에서 여러 에이전트 팀이 실제 성과를 내고 있어 협업 능력이 새로운 평가 기준으로 떠오르고 있다.AI · 머신러닝 · Measuring AI Agents as Teammates with Collaborative Intelligence

Key Point여러 AI 에이전트가 실제 과학 프로젝트에서 협력하고 있는 지금, 개별 모델 성능이 아니라 팀 내 협업 능력을 체계적으로 측정할 수 있는 첫 번째 벤치마크가 제시되어 AI 평가의 패러다임 전환을 의미한다.
핵심 요약
- AI 연구는 개별 모델의 성능에만 집중해왔지만, 과학·의학·수학·소프트웨어 분야에서 여러 에이전트 팀이 실제 성과를 내고 있어 협업 능력이 새로운 평가 기준으로 떠오르고 있다.
- 인간 팀의 협업 능력을 측정해온 조직행동 연구에서 영감을 얻어 협업 지능 벤치마크(Collaborative Intelligence Benchmark)를 개발했다.
- 벤치마크는 항공사고 보고서·임상 사례·코딩 과제·협상까지 실제 기록과 기존 벤치마크에서 나온 240개 과제를 8가지 팀워크 차원으로 나누어 제공한다.
전체 요약 9문장 읽기 → 004▲ 22 · 댓글 2멀티모달 에이전트, 로봇 제어로 확장할 때 뭐가 달라지나멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다.AI · 머신러닝 · Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use

Key Point컴퓨터 조작 AI와 로봇 제어의 근본적 차이를 정의하고, 로봇 에이전트 개발 시 현재 벤치마크가 놓친 부분을 지적해 향후 평가 방식 개선의 방향을 제시한다.
핵심 요약
- 멀티모달 에이전트(MMA)는 컴퓨터 조작 작업을 추론·기억·도구·피드백으로 수행하고, 로봇 시스템은 물리 역학 아래 센싱과 동작을 결합한다.
- 멀티모달 임보디드 에이전트(MMEA)를 정의하면, 멀티모달 작업 추론을 물리 동작과 결합하고 그 결과 피드백으로 결정을 수정하는 목표 지향 시스템이다.
- 논문은 PAPAV라는 통합 프레임워크를 제시하며, 인식(Perceive)·예측(Anticipate)·계획(Plan)·행동(Act)·검증(Verify)의 5가지 반복 기능으로 세 시스템을 비교한다.
전체 요약 6문장 읽기 → 005▲ 125 · 댓글 49마이크로소프트, 의사결정 특화 AI 모델 공개마이크로소프트가 구조화된 의사결정 작업에 특화한 'Microsoft-Decision-1' 모델을 발표했다.AI · 머신러닝 · Microsoft-Decision-1, our model for fast decision-making

Key Point에이전트 AI가 실제 환경에서 행동하는 지금, 비용 효율적이면서도 빠른 의사결정 AI의 필요성이 높아지고 있으며, 마이크로소프트의 새 모델은 기존 LLM 대비 35배 빠르고 200배 저렴한 성능으로 업계의 선택 기준을 바꿀 수 있다.
핵심 요약
- 마이크로소프트가 구조화된 의사결정 작업에 특화한 'Microsoft-Decision-1' 모델을 발표했다.
- 이 모델은 기존 LLM이나 다른 의사결정 모델보다 빠르고 정확하게 라우팅, 분류, 우선순위 결정, 검증, 워크플로우 제어 등을 수행한다.
- 36개 벤치마크의 15만 개 질문에서 최고 정확도를 달성했으며, GPT-6 Sol보다 4.5배 빠르고 35배 빠른 응답 속도를 기록했다.
전체 요약 13문장 읽기 → 006▲ 28 · 댓글 2AI 과학자를 평가하는 벤치마크, 자동으로 만든다기존 과학 분야 벤치마크는 에이전트 성능이 향상되면서 포화되어 역량 차이를 구별하기 어려워지고, 새로운 벤치마크 구축에 시간과 전문성이 필요한 문제가 있다.AI · 머신러닝 · AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents

Key PointAI 에이전트가 빠르게 발전할 때 기존 평가 방식이 뒤떨어지는 문제를 자동화로 해결하는 방법론이 제시되어, 향후 AI 시스템 평가 방식에 영향을 미칠 수 있다.
핵심 요약
- 기존 과학 분야 벤치마크는 에이전트 성능이 향상되면서 포화되어 역량 차이를 구별하기 어려워지고, 새로운 벤치마크 구축에 시간과 전문성이 필요한 문제가 있다.
- AutoSciBench는 각 과제를 과학 도메인·데이터 형식·추론 방식을 지정하는 고수준 개념과 질문·환경·정답 구성 방법을 담은 저수준 레시피로 표현한다.
- 에이전트가 과제를 시도할 때 생성되는 풀이 궤적과 판단 피드백을 이용해 자동으로 레시피나 개념을 개선하고, 과제를 우회 풀이에서 원본 데이터 재검토·중간 결과 해석·증거 통합으로 진화시킨다.
전체 요약 6문장 읽기 → 007▲ 51 · 댓글 2법률 AI 평가 프레임워크 'LexReward' 공개법률 언어모델의 응답 품질을 평가하기 위해 기존의 단순한 판단 방식으로는 법률 분야의 복잡한 요구사항을 충분히 반영할 수 없다는 문제에서 출발한 연구다.AI · 머신러닝 · LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models

Key Point법률 분야 AI 시스템의 성능을 정밀하게 평가하고 최적화할 수 있는 방법론이 제시되어, 법률 특화 언어모델의 개발 품질을 크게 높일 수 있다.
핵심 요약
- 법률 언어모델의 응답 품질을 평가하기 위해 기존의 단순한 판단 방식으로는 법률 분야의 복잡한 요구사항을 충분히 반영할 수 없다는 문제에서 출발한 연구다.
- LexReward는 법률 응답의 품질을 세 차원으로 평가한다: 어휘·문법적 품질을 보는 Style, 법적 주체·사실·법령·판례를 평가하는 Element, 법률 추론의 순서·완성도·정확성·중복 제거를 보는 Chain.
- 각 차원마다 평가 기준과 품질 수준을 명시한 루브릭(채점 기준표)을 개발했으며, 이를 바탕으로 DPO(Direct Preference Optimization) 훈련과 보상 모델 학습용 쌍 비교 데이터를 구성했다.
전체 요약 6문장 읽기 → 008▲ 71 · 댓글 2AI 논문 심사자의 약점: 표현 방식에 흔들리는 판정AI 심사자가 동일한 과학적 내용을 다르게 표현한 원고에 서로 다른 평가를 내리는 현상을 분석하는 논문이다.AI · 머신러닝 · A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review

Key PointAI가 학술 논문을 심사하게 되는 시대에, 논문의 내용보다 표현 방식에 영향받는 평가의 위험성을 구체적으로 분석하고 개선안을 제시하는 중요한 연구다.
핵심 요약
- AI 심사자가 동일한 과학적 내용을 다르게 표현한 원고에 서로 다른 평가를 내리는 현상을 분석하는 논문이다.
- 논문의 핵심은 '수사적 견고성(Rhetorical Robustness)' 개념으로, 표현 변화에는 안정적이면서도 논문 간 차이는 구별해야 한다는 요구사항을 제시한다.
- 1,260개의 원고 버전으로 구성한 RobustReview 벤치마크를 만들어 30가지 심사자 구성을 평가했다.
전체 요약 8문장 읽기 → 009▲ 12 · 댓글 1AI가 미지의 세계에서 진정한 발견을 할 수 있나과학적 발견은 미지의 영역에서 가설 수립·실험 설계·결과 반복이라는 탐색 능력을 요구하지만, 이를 평가하기는 어렵다.AI · 머신러닝 · ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds

Key Point사전학습 데이터에서의 재호출이 아닌 진정한 탐색과 발견을 측정하는 벤치마크가 처음 제시되었으며, 현재 AI 시스템의 탐색 능력에 명확한 한계가 있음을 보여준다.
핵심 요약
- 과학적 발견은 미지의 영역에서 가설 수립·실험 설계·결과 반복이라는 탐색 능력을 요구하지만, 이를 평가하기는 어렵다.
- 평가의 난제는 두 가지다: (1) 새로운 가설이 정말 참인지 검증하는 법, (2) 시스템이 진정한 탐색으로 발견했는지 학습 데이터에서 재호출한 건 아닌지 구별하는 법이다.
- 연구팀은 이 문제를 풀기 위해 ExplorationBench를 제시했으며, 실행 가능한 규칙을 가진 '외계 세계'를 기반으로 구축했다.
전체 요약 9문장 읽기 → 010당일 +104AI 시대 평생학습 지침서, GitHub 공개저자 한선개(필명: 리푸)가 GitHub에 공개한 오픈북 '인생진계지남'은 AI 시대 평생학습을 위한 체계적 가이드다.오픈소스 · 도구 · byoungd/up · JavaScript

Key PointAI가 답변을 값싸게 만드는 시대에 '좋은 질문', '신뢰할 만한 증거', '실제 작품 완성', '책임 담당'이 진정한 차이가 되는 이유와, 영어·AI·창업·관계를 관통하는 평생학습의 틀이 필요한 개발자들에게 구체적 실천 방법을 보여주기 때문이다.
핵심 요약
- 저자 한선개(필명: 리푸)가 GitHub에 공개한 오픈북 '인생진계지남'은 AI 시대 평생학습을 위한 체계적 가이드다.
- 영어 학습을 입구로 해서 AI 활용, 실제 프로젝트 수행, 창업 경험, 신체 회복, 관계 개선까지 넓혀가며 보통 사람이 빠르게 변하는 세상에서 계속 배우고 창조할 수 있도록 설계했다.
- 프레임워크는 '문제 정의 → 기선 저장 → 최소 과제 완성 → 증거 기록 → 지연 재검사 → 이전 판단'의 순환 구조를 따르며, AI가 질문 및 검증을 가속화하지만 최종 판단과 책임은 사람이 유지한다.
전체 요약 8문장 읽기 →