쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
5건 · "LLM 코딩"조건 지우기 ×
001▲ 43 · 댓글 4코딩 AI, 스스로 실패를 분석해 개선하는 법 배우다LLM 코딩 에이전트의 성능은 정책 모델과 환경 상호작용을 중개하는 harness(도구 호출 방식)에 의해 결정되며, 둘 중 하나만 최적화하는 것은 불충분하다.AI · 머신러닝 · Self-Evolving Coding Agents via Harness-Policy Optimization
Key Point코딩 AI의 성능을 높이는 데 도구 사용 방식과 모델 학습을 함께 개선하는 방법이 유의미한 성과를 보여주고 있기 때문이다.
핵심 요약
- LLM 코딩 에이전트의 성능은 정책 모델과 환경 상호작용을 중개하는 harness(도구 호출 방식)에 의해 결정되며, 둘 중 하나만 최적화하는 것은 불충분하다.
- Self-HPO는 두 성분을 번갈아 최적화하는 자기개선 프레임워크로, 현재 정책이 자신의 실패를 분석해 새로운 harness 후보를 제안하는 H-스텝과 RL로 정책을 업데이트하는 P-스텝을 반복한다.
- 학습 중 어려운 작업들이 다음 라운드의 harness 탐색 대상이 되어, harness 최적화가 진화하는 정책의 실패 패턴에 계속 맞춰진다.
전체 요약 6문장 읽기 →AI · 머신러닝 · TestPrism: Rethinking Test Evaluation Beyond a Single Reference
Key Point코딩 테스트 생성의 실제 평가 방식이 얼마나 부정확한지 보여주며, 다양한 구현을 검증해야 하는 테스트 생성 연구의 새로운 기준을 제시한다.
핵심 요약
- LLM 코딩 에이전트가 생성한 테스트를 단일 참조 솔루션으로만 평가하면 다른 유효한 구현을 놓치고 테스트 품질을 과대평가할 수 있다.
- 이를 해결하기 위해 300개 테스트 과제와 3000개 후보 구현(유효/무효 각 50%)으로 구성한 TestPrism 벤치마크를 제안한다.
- TestPrism의 핵심 메트릭인 Joint Success Function은 생성된 테스트가 초기 프로그램에서 실패하고, 모든 유효한 후보는 수용하며, 모든 무효한 후보는 거부해야 한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · Coding Agents for Generalized Task and Motion Planning Problems
Key Point로봇 계획 같은 복잡한 최적화 문제를 LLM 코딩 에이전트가 손코딩 기반 계획기를 능가하는 성능으로 해결할 수 있음을 대규모 실험으로 입증했으며, 특히 문제 규모가 커질수록 효율 우위가 두드러진다.
핵심 요약
- Task and Motion Planning(TAMP)은 이산 결정이 기하학·운동·동역학 제약과 밀접하게 연결되어 있어 어려운 문제이며, 기존 방법은 많은 도메인별 엔지니어링이 필요했다.
- 연구팀은 Claude Code(Opus 5)와 Codex(GPT-5.6 Sol, GPT-6 Astra)를 사용해 주어진 과제 설명과 시뮬레이터 접근권으로 프로그램을 합성하는 코딩 에이전트를 조사했다.
- 에이전트들은 고정된 예산 내에서 환경과 상호작용하며 프로그램을 개발한 후, 이를 검증 데이터셋에서 평가했다.
전체 요약 8문장 읽기 →AI · 머신러닝 · Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
Key PointLLM 코딩 평가 벤치마크가 실제 실력이 아닌 암기된 패턴 재인식을 측정하고 있을 가능성을 실증적으로 보여, SWE-bench 성능 신뢰도 문제를 제기한다.
핵심 요약
- SWE-bench 등 저장소 수준 코딩 벤치마크는 학습 데이터에 반복 사용된 인기 오픈소스 저장소 기반이라 데이터 유출 문제를 안고 있다.
- 강한 성능이 실제 저장소 추론 능력이 아니라 표준화된 저장소 단서 암기를 반영할 가능성이 있다.
- SchrodingerRepo 평가 프레임워크를 제안하며, 정적 저장소 표현 대신 평가 시점에 동적으로 인스턴스화된 저장소를 사용한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · multica-ai/andrej-karpathy-skills
Key PointLLM 코딩 어시스턴트를 쓸 때 받는 불필요한 과다 설계와 의도하지 않은 변경을 줄이는 실질적 원칙을 제공하므로, 코딩 생산성을 높이려는 개발자라면 즉시 적용해볼 가치가 있다.
핵심 요약
- Andrej Karpathy의 LLM 코딩 문제점 관찰을 바탕으로 한 단일 CLAUDE.md 파일을 만들어 공개했다.
- Karpathy는 LLM이 검증 없이 잘못된 가정을 따르고, 불필요하게 복잡하게 코딩하며, 이해하지 못한 코드를 부수 효과로 변경하는 문제를 지적했다.
- 해결책으로 4가지 원칙을 제시한다: 코딩 전 사고(가정 명시, 다중 해석 제시), 단순성 우선(요청 범위 내만 구현), 수술적 변경(요청 관련 부분만 수정), 목표 중심 실행(검증 가능한 성공 기준 정의).
전체 요약 5문장 읽기 →