쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
18건 · "SWE-bench"조건 지우기 ×
001 21:11 당일 +116 터미널에서 쓰는 AI 코딩 에이전트 Qwen Code 1.0 공개 알리바바 Qwen의 오픈소스 AI 코딩 에이전트 Qwen Code 1.0 Preview를 공개했으며, Qoder의 에이전트 능력과 Qwen Code를 함께 담았다. AI · 머신러닝 · QwenLM/qwen-code · TypeScript
Key Point Claude Code 수준의 기능을 오픈소스로 제공하면서 다중 프로바이더 지원, IDE/채팅 앱 통합, Daemon 모드로 비용 부담 없이 자체 AI 코딩 에이전트를 구축할 수 있게 됐다.
핵심 요약
알리바바 Qwen의 오픈소스 AI 코딩 에이전트 Qwen Code 1.0 Preview를 공개했으며, Qoder의 에이전트 능력과 Qwen Code를 함께 담았다. 터미널, 데스크톱 앱, 웹 UI, IDE 플러그인(VS Code/JetBrains/Zed), 챗 앱(Telegram/DingTalk/WeChat/Feishu) 등 다양한 인터페이스를 지원한다. Auto-Memory, Auto-Skills, SubAgents, Agent Teams, MCP 등을 박스에서 바로 사용할 수 있으며 별도 설정이 필요 없다. 전체 요약 10문장 읽기 → 002 03:11 ▲ 111 · 댓글 26 포스트트레이닝 데이터 공용지는 존재하지 않는다 프리트레이닝은 위키피디아, 스택 오버플로우, arXiv, 프로젝트 구텐베르크, 커먼 크롤 등이 만든 인터넷 공용지에 크게 의존했으며, GPT-3는 60% 이상 커먼 크롤 데이터로 학습했다. AI · 머신러닝 · There is no posttraining data commons
Key Point 프리트레이닝 시대의 인터넷 공용지가 없어진 지금, AI 기업들이 포스트트레이닝 데이터를 독점하려는 움직임 속에서 공용지 재건의 어려움과 필요성을 짚는다.
핵심 요약
프리트레이닝은 위키피디아, 스택 오버플로우, arXiv, 프로젝트 구텐베르크, 커먼 크롤 등이 만든 인터넷 공용지에 크게 의존했으며, GPT-3는 60% 이상 커먼 크롤 데이터로 학습했다. 포스트트레이닝은 문서 대신 작업(task)을 소비하는데, 인간의 작업은 순간적이고 상황에 맞추어진 반면 강화학습 작업은 고정되고 재현 가능해야 한다. 작업을 보존하려면 실행 환경, 의도, 상호작용 도구, 그리고 결과를 평가하는 채점자가 필요하다. 전체 요약 12문장 읽기 → 003 00:11 ▲ 40 · 댓글 1 코딩 AI 학습 데이터 수집을 위한 이력 기반 궤적 수집 방법 제시 코딩 에이전트가 저장소 이슈를 해결하는 과정에서 생기는 긴 탐색·편집·검증 수열들이 학습 데이터로 활용되고 있다. AI · 머신러닝 · SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training
Key Point 코딩 AI 학습에 쓰이는 데이터 수집 방식이 최종 모델 성능을 크게 좌우하는데, 이력 정보를 효과적으로 활용하면서도 학습-테스트 간 불일치를 피하는 구체적 방법을 제시한다.
핵심 요약
코딩 에이전트가 저장소 이슈를 해결하는 과정에서 생기는 긴 탐색·편집·검증 수열들이 학습 데이터로 활용되고 있다. 기존 방식은 각 이슈마다 여러 궤적을 독립적으로 샘플링한 뒤 선별하지만, 샘플이 많아질수록 중복이 증가하고 이전 데이터가 향후 수집 방향을 안내할 수 있다는 점을 무시한다. 이력을 코딩 에이전트의 컨텍스트로 직접 제공하면 학습 시 그 조언에 의존하게 되어 테스트 시 사용할 수 없는 정보에 모델이 편향되는 문제가 생긴다. 전체 요약 7문장 읽기 → 004 12:11 ▲ 10 · 댓글 2 LLM 에이전트 검증 메커니즘, 독립적 리뷰가 최적 LLM 에이전트가 도구를 통해 작업을 수행할 때 검증 체계가 출력 품질을 개선하는데, 어떻게 설계해야 하는지에 대한 연구. AI · 머신러닝 · Rethinking Verification in Agent Harnesses
Key Point LLM 에이전트의 출력 품질을 높이는 가장 비용 효율적인 검증 방식이 무엇인지 실증적으로 규명해, 실제 에이전트 시스템 설계 시 어떤 구조를 채택할지 결정하는 기준을 제시합니다.
핵심 요약
LLM 에이전트가 도구를 통해 작업을 수행할 때 검증 체계가 출력 품질을 개선하는데, 어떻게 설계해야 하는지에 대한 연구. 초기 지시사항, 중간 리마인더, 완료 게이트, 독립적 리뷰 등 에이전트 생명주기의 4가지 계층에서 검증 시점과 방식을 비교. Terminal-Bench와 SWE-bench Verified에서 7개 최신 LLM의 17가지 검증 설계를 평가하고, 시각적 산출물 평가용 VisualBench 도입. 전체 요약 9문장 읽기 → 005 15:11 ▲ 14 · 댓글 2 코딩 에이전트 훈련, 정책뿐 아니라 도구까지 기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다. AI · 머신러닝 · Training the Whole Agent, Not Just the Model
Key Point 코딩 에이전트의 훈련 방식을 근본적으로 바꾸면서 SWE-bench에서 유의미한 성능 향상을 보여줘, 실제 소프트웨어 엔지니어링 작업을 자동화하는 에이전트의 실용성이 높아진다.
핵심 요약
기존 코딩 에이전트 훈련은 정책만 업데이트하고 에이전트의 도구와 훅을 고정했지만, 학습 중 드러나는 수리 전략과 상호작용 문제들은 작업마다 다르고 정책이 발전하며 변한다. HarnessAdapt-RL은 강화학습 중 정책과 함께 에이전트의 도구·훅을 적응시키는 방식이다. 잘못된 수리 전략에는 고정된 교사 모델이 작업별 메커니즘 레벨의 스킬을 생성하고, 여러 작업에 반복되는 상호작용 문제에는 별도 교사 모델이 도구와 훅을 진화시키되 통과율이나 학습 가능한 비율을 개선할 때만 유지한다. 전체 요약 6문장 읽기 → 006 12:11 ▲ 10 · 댓글 2 코딩 에이전트가 실패를 미리 감지하고 중단하는 StopLoss 코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다. AI · 머신러닝 · StopLoss: Teaching Agents to Predict Failure and Stop Early
Key Point 코딩 에이전트의 실패 예측을 저비용으로 수행함으로써 계산 자원 낭비를 크게 줄일 수 있는 실용적 방법이 증명되었기 때문입니다.
핵심 요약
코딩 에이전트는 검증에 실패할 런을 계속 진행하는데, 이를 감시하기 위해 대형 모델을 사용하는 것은 비용이 크다. StopLoss는 완료된 궤적(trajectory)과 검증자 결과로부터 실패를 인식하도록 학습한 소규모 외부 모니터이다. 미세조정된 언어모델이 최근 도구 단계들을 한 번의 포워드 패스로 점수화하고, 성공 런에서 보정된 임계값이 중단 결정을 내린다. 전체 요약 8문장 읽기 → 007 15:11 ▲ 27 · 댓글 2 AI 에이전트 프롬프트, 성능·비용 균형 맞춰 자동 개선 AI 에이전트의 작업 수행 능력을 높이는 '하네스(harness, 프롬프트 템플릿)' 개발에서 기존 반복 개선 방식은 성능 향상 대신 실행 비용을 크게 올린다는 문제가 있다. AI · 머신러닝 · HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs
Key Point AI 에이전트 성능을 높일 때 비용 증가를 피할 수 없던 문제를 해결하는 자동화 기법으로, 실무 배포 환경에서 비용·성능 트레이드오프를 실제로 선택 가능하게 한다.
핵심 요약
AI 에이전트의 작업 수행 능력을 높이는 '하네스(harness, 프롬프트 템플릿)' 개발에서 기존 반복 개선 방식은 성능 향상 대신 실행 비용을 크게 올린다는 문제가 있다. HarnessPro는 정답 데이터 없이 LLM이 생성한 테스트로만 후보 하네스를 평가하는 레이블 무료 진화 방법을 제안한다. 전문 에이전트가 실행 궤적을 진단하고 성능·비용 우선순위에 따라 업데이트를 계획해 후보 하네스로 구현한다. 전체 요약 7문장 읽기 → 008 15:11 ▲ 150 · 댓글 37 경량 추론 모델 LFM2.5-24B-A2B 출시, 온디바이스 에이전트 최적화 Liquid AI가 LFM2.5-24B-A2B를 공개했으며, 총 24B 파라미터 중 활성 파라미터는 2B만 사용하는 추론 특화 모델이다. AI · 머신러닝 · LFM2.5-24B-A2B: Built for fast on-device agents
Key Point 온디바이스에서 도구 호출과 추론을 빠르게 처리해야 하는 개발자에게, 클라우드 API 의존 없이 로컬 에이전트를 구축할 수 있는 선택지를 제시한다.
핵심 요약
Liquid AI가 LFM2.5-24B-A2B를 공개했으며, 총 24B 파라미터 중 활성 파라미터는 2B만 사용하는 추론 특화 모델이다. 총 파라미터가 50% 이상 많은 Qwen3.6-35B-A3B와 비교해 에이전트·도구 사용 벤치마크 8개 중 5개에서 경쟁력을 보였다. AutomationBench에서 27.69점으로 다음 경쟁 모델 8.72점의 3배 이상 점수를 기록했고, LiveClaw에서 48.09점을 달성했다. 전체 요약 13문장 읽기 → 009 09:11 ▲ 12 · 댓글 3 코딩 에이전트 평가 기준이 현실 업무와 안 맞는 문제 JetBrains IDE의 실제 소프트웨어 엔지니어 4,782개 세션을 수집해 분석한 결과, 3개 이상의 사용자 메시지를 포함한 장기 세션(전체의 33%)은 이슈 기반 벤치마크 과제와 크게 다른 특징을 보인다. AI · 머신러닝 · Coding-Agent Benchmarks Should Match Their Users' Task Flows
Key Point 코딩 에이전트 벤치마크가 현실의 엔지니어 업무 흐름과 불일치하는 문제를 실데이터로 입증하고, 평가 기준을 개선하는 방법을 제시한다.
핵심 요약
JetBrains IDE의 실제 소프트웨어 엔지니어 4,782개 세션을 수집해 분석한 결과, 3개 이상의 사용자 메시지를 포함한 장기 세션(전체의 33%)은 이슈 기반 벤치마크 과제와 크게 다른 특징을 보인다. 실제 작업은 단일한 작업 유형보다는 코드 질문, 계획, 검토, 리팩토링, 실행 등 다양한 작업이 혼합되어 있으며, 사용자들이 작업 유형 간에 자주 전환한다. 세 개의 공개 상호작용 코퍼스에서 추출한 장기 세션들이 서로 다른 Task Flow(세션 길이, 작업 유형, 유형 간 전환 패턴의 분포)를 보이므로, 단일한 상호작용 분포로는 현실성을 보장할 수 없다. 전체 요약 8문장 읽기 → 010 03:11 ▲ 14 · 댓글 2 긴 작업 추적하는 AI 코딩 어시스턴트 비평가 'Opera' 공개 장시간 코딩 작업을 수행하는 에이전트가 피드백을 받아도 실제로 문제가 해결되지 않는 경우가 많다. AI · 머신러닝 · Opera: A Verbal Critic Framework for Long-horizon Coding Agents
Key Point AI 코딩 에이전트의 가장 큰 약점인 '피드백을 받아도 실제 문제가 풀리지 않는' 현상을 근본적으로 진단하고 추적하는 방식이 소프트웨어 공학 벤치마크 전체에서 최고 성능을 기록했습니다.
핵심 요약
장시간 코딩 작업을 수행하는 에이전트가 피드백을 받아도 실제로 문제가 해결되지 않는 경우가 많다. Opera는 각 수정을 지속적인 기록으로 관리하며, 진단된 문제가 실제로 해결될 때까지 추적하는 AI 비평가 프레임워크다. 주기적·이벤트 기반 검토 트리거, 타입화된 연산자를 통한 문제 진단, 전달 전 증거 기반 감시, 피드백 이후 에이전트 행동 추적이 핵심이다. 전체 요약 8문장 읽기 → 011 21:11 당일 +107 생산 장애 대응하는 AI SRE 에이전트 OpenSRE 공개 Tracer-Cloud가 오픈소스 AI SRE 에이전트 프레임워크 OpenSRE v0.1을 공개했다. 사용자가 기존에 운영 중인 60여 개 도구를 연결하고 커스텀 워크플로를 정의한 뒤 자체 인프라에서 생산 환경 문제에 답할 수 있다. 인프라 · 데브옵스 · Tracer-Cloud/opensre · Python
Key Point AI가 코드 디버깅 벤치마크(SWE-bench)는 갖춘 반면, 생산 장애 대응 분야는 표준화된 학습·평가 환경이 없어 AI SRE가 아직 미해결 상태인데, OpenSRE가 이 공백을 채우기 위한 오픈소스 기반을 제시했기 때문이다.
핵심 요약
Tracer-Cloud가 오픈소스 AI SRE 에이전트 프레임워크 OpenSRE v0.1을 공개했다. 사용자가 기존에 운영 중인 60여 개 도구를 연결하고 커스텀 워크플로를 정의한 뒤 자체 인프라에서 생산 환경 문제에 답할 수 있다. 에이전트는 로그·메트릭·트레이스·배포 이력에서 관련 컨텍스트를 자동으로 가져온 뒤, 민감 정보를 마스킹한 후 도구 호출 루프를 통해 가설을 검증하고 증거 기반 답변을 제시한다. Slack·PagerDuty·Telegram으로 요약 결과를 직접 전송하며, 보안을 염두에 두고 설계되어 구조화된 LLM 프롬프트·로컬 트랜스크립트 처리·감사 추적을 지원한다. 전체 요약 10문장 읽기 → 012 06:11 ▲ 20 · 댓글 2 다단계 작업에서 언어 모델이 실수를 예방하고 회복하는 법 다중 턴 에이전트 훈련에서 초기에 발생한 하나의 잘못된 행동이 이후 상태를 왜곡해 오류가 누적되는 문제를 발견했다. AI · 머신러닝 · PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents
Key Point 초기 실수를 예방하면서 동시에 회복하는 훈련 방식으로, 다중 턴 작업 에이전트의 오류 누적 문제를 직접 해결하는 실용적 접근이다.
핵심 요약
다중 턴 에이전트 훈련에서 초기에 발생한 하나의 잘못된 행동이 이후 상태를 왜곡해 오류가 누적되는 문제를 발견했다. Qwen3 3개 모델(8B~235B) 실험에서 실패한 시도의 50% 이상이 '중추적 실수'(작업 완료를 더 멀게 하는 행동)를 포함하고 있으며, 이는 대부분 초기에 발생한다. 놀랍게도 이러한 중추적 실수 후 몇 턴의 지도만으로도 작업 성공을 복구할 수 있다. 전체 요약 7문장 읽기 → 013 18:11 ▲ 33 · 댓글 2 LLM 학습 과정의 버려진 데이터를 재활용하는 기법 제안 대규모 언어모델 사후학습에서 강화학습과 온폴리시 증류로 생성된 과거 경험은 정책이 발전하면서 버려지는 문제가 있다. AI · 머신러닝 · ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
Key Point LLM 학습의 데이터 재활용 효율을 높이는 방법론으로, 기존에 버려지던 학습 경험에서 추가 성능을 뽑아낼 수 있다는 점이 실무적 가치가 크다.
핵심 요약
대규모 언어모델 사후학습에서 강화학습과 온폴리시 증류로 생성된 과거 경험은 정책이 발전하면서 버려지는 문제가 있다. 과거 경험은 현재 정책과 호환되면서도 더 이상 안정적으로 표현되지 않는 행동들을 보존할 수 있지만, 실수와 포기된 시도들도 함께 담고 있다. ROSS는 전체 과거 궤적을 맥락으로 유지하면서 모델이 선택적으로 생성한 부분만 손실을 적용하는 방식으로, 더 정밀한 감독 신호를 제공한다. 전체 요약 6문장 읽기 → 014 22:29 ▲ 16 · 댓글 2 LLM 코딩 벤치마크, 실제 실력 평가 아닌 암기 성공 가능성 SWE-bench 등 저장소 수준 코딩 벤치마크는 학습 데이터에 반복 사용된 인기 오픈소스 저장소 기반이라 데이터 유출 문제를 안고 있다. AI · 머신러닝 · Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
Key Point LLM 코딩 평가 벤치마크가 실제 실력이 아닌 암기된 패턴 재인식을 측정하고 있을 가능성을 실증적으로 보여, SWE-bench 성능 신뢰도 문제를 제기한다.
핵심 요약
SWE-bench 등 저장소 수준 코딩 벤치마크는 학습 데이터에 반복 사용된 인기 오픈소스 저장소 기반이라 데이터 유출 문제를 안고 있다. 강한 성능이 실제 저장소 추론 능력이 아니라 표준화된 저장소 단서 암기를 반영할 가능성이 있다. SchrodingerRepo 평가 프레임워크를 제안하며, 정적 저장소 표현 대신 평가 시점에 동적으로 인스턴스화된 저장소를 사용한다. 전체 요약 7문장 읽기 → 015 22:29 ▲ 16 · 댓글 3 토큰 단위 신용할당 원리로 LLM 강화학습 개선 강화학습 기반 LLM 후처리 훈련에서 토큰 단위 신용할당(credit assignment)의 수학적 정의가 명확하지 않아, 기존 훈련 신호들과의 관계가 불분명했다. AI · 머신러닝 · PACT: From Credit Assignment to Critic Alignment
Key Point 토큰 단위 신용할당의 수학적 정의를 처음 엄밀하게 규정하고, 이를 바탕으로 LLM 강화학습의 핵심 알고리즘들을 통일된 틀에서 설명하며, 실제 수학·소프트웨어 문제에서 기존 방법들을 크게 능가하는 구체적 성과를 냈다.
핵심 요약
강화학습 기반 LLM 후처리 훈련에서 토큰 단위 신용할당(credit assignment)의 수학적 정의가 명확하지 않아, 기존 훈련 신호들과의 관계가 불분명했다. Completeness, Prefix Consistency, Neutrality 세 가지 정칙성 조건을 제시하면 토큰 단위 신용할당이 유일하게 결정됨을 증명했다. 이 특성화를 통해 On-Policy Distillation(OPD)의 이상적 교사가 암묵적 비평가 역할을 하며, Response-level REINFORCE Leave-One-Out(RLOO)이 토큰 단위 신용할당과 일치하는 정책 기울기를 낸다는 것을 확인했다. 전체 요약 7문장 읽기 → 016 18:11 ▲ 135 · 댓글 6 LLM 에이전트의 '안목' 측정 벤치마크 공개 장시간 작업에서 LLM 에이전트가 어느 방향으로 나아갈지 결정하는 능력을 '안목'(taste)이라 정의하고, 이를 평가하는 Taste-Bench 벤치마크를 개발했다. AI · 머신러닝 · The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks
Key Point 장시간 작업을 수행하는 AI 에이전트의 핵심 약점인 '의사결정 능력'을 체계적으로 측정할 수 있는 첫 벤치마크이며, 어떤 조건에서 의사결정이 어려워지는지 파악할 수 있다.
핵심 요약
장시간 작업에서 LLM 에이전트가 어느 방향으로 나아갈지 결정하는 능력을 '안목'(taste)이라 정의하고, 이를 평가하는 Taste-Bench 벤치마크를 개발했다. 병렬 시도나 궤적 내 우회를 분석해 자동으로 결정 지점(decision fork)을 추출하고, 각 지점에서 여러 선택지 중 더 나은 결과로 이어진 것을 찾도록 모델을 평가한다. 최고 성능 모델도 정확히 59.7%의 질문에만 답했으며, 결정 근거가 뒤에 나타날수록 모든 모델의 정확도가 급격히 떨어진다. 전체 요약 5문장 읽기 → 017 16:18 ▲ 46 · 댓글 4 소프트웨어 엔지니어링 AI, 작업 유형별 균형잡힌 학습으로 성능 향상 저장소 수준의 소프트웨어 개발 작업은 카테고리마다 다양해서, 강화학습 중 일부 카테고리는 개선되고 다른 카테고리는 악화되는 불균형 문제가 있다. AI · 머신러닝 · One to More, More to One: Category-Aware Iterative Expert Training for Software Engineering Agents
Key Point 소프트웨어 개발 작업의 다양한 유형별 난제를 동시에 해결하는 새로운 멀티에이전트 학습 방식이 기존보다 눈에 띄게 성능을 개선했습니다.
핵심 요약
저장소 수준의 소프트웨어 개발 작업은 카테고리마다 다양해서, 강화학습 중 일부 카테고리는 개선되고 다른 카테고리는 악화되는 불균형 문제가 있다. 연구팀은 카테고리별 전문 에이전트를 학습하고 이를 하나의 모델로 통합하는 프레임워크를 개발했다. 각 카테고리 전문가는 강화학습과 자기 검증 궤적 재활용, 작업 재선택을 반복하는 RRE(Refresh-Repair-Expand) 방식을 사용한다. 전체 요약 5문장 읽기 → 018 00:10 ▲ 15 · 댓글 3 알리바바 Qwen 3.8 27B 공개, 로컬 모델 최고 성능 Qwen3.8-27B-FP8은 오픈 가중치 모델로 HuggingFace Transformers, vLLM 등과 호환된다. AI · 머신러닝 · Qwen 3.8 27B is out: open weights, best local dense model yet
Key Point 로컬에서 구동 가능한 고성능 오픈소스 모델로, Hacker News 커뮤니티에서 배포 용이성과 벤치마크 성과에 주목받고 있다.
핵심 요약
Qwen3.8-27B-FP8은 오픈 가중치 모델로 HuggingFace Transformers, vLLM 등과 호환된다. 27B 매개변수 모델로 코딩, 에이전트 작업, 멀티모달 이해 능력을 갖추고 262K 네이티브 컨텍스트를 지원한다. 터미널 코딩 벤치마크 73.0점, SWE-bench Pro 61.7점 등 기존 모델을 능가하는 성능을 보인다.