쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
2건 · "AI평가"조건 지우기 ×
001 12:11 ▲ 100 · 댓글 78 LLM이 못 읽게 설계한 프로그래밍 언어 'KillSwitch' 개발 개발자는 LLM이 코드를 정말 이해하는지, 아니면 학습 데이터 기억에만 의존하는지 확인하기 위해 언어 모델을 혼동하도록 설계된 프로그래밍 언어 KillSwitch를 만들었다. AI · 머신러닝 · I built a programming language that LLMs can't use
Key Point LLM이 정말 코드를 이해하는지, 아니면 패턴 매칭만 하는지 검증하는 새로운 벤치마크로, 최신 AI 모델의 실제 능력을 평가하는 관점을 제시한다.
핵심 요약
개발자는 LLM이 코드를 정말 이해하는지, 아니면 학습 데이터 기억에만 의존하는지 확인하기 위해 언어 모델을 혼동하도록 설계된 프로그래밍 언어 KillSwitch를 만들었다. KillSwitch는 스택 기반의 해석형 언어로 함수, 변수, 조건문만 지원하지만, LLM을 속이도록 여러 특징을 포함한다. 언어 스펙에 거짓 정보를 숨겨두고, 문자 개수 세기를 규칙으로 사용하며, 'hack into a computer' 같은 안전장치 트리거 구문을 포함하고, 대부분이 노이즈인 스크립트로 구성된다. 전체 요약 8문장 읽기 → 002 06:11 ▲ 12 · 댓글 2 코딩 AI 에이전트의 로봇 개발 능력을 평가하는 벤치마크 RLE-Bench 공개 코딩 에이전트가 로봇 분야로 확장되면서, 기존 벤치마크는 정책이나 컨트롤러 같은 개별 결과물 성능만 측정해 에이전트의 광범위한 엔지니어링 능력을 평가하지 못했다. AI · 머신러닝 · RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers
Key Point 코딩 AI가 로봇 엔지니어링 작업을 수행하려면 단순 성능 지표를 넘어 복합적인 문제 해결, 설계, 통합 능력이 필요하며, RLE-Bench는 이를 종합 평가하는 첫 벤치마크다.
핵심 요약
코딩 에이전트가 로봇 분야로 확장되면서, 기존 벤치마크는 정책이나 컨트롤러 같은 개별 결과물 성능만 측정해 에이전트의 광범위한 엔지니어링 능력을 평가하지 못했다. 실제 로봇 개발은 제어를 넘어 여러 컴포넌트의 구축·통합·진단·개선을 자원 제약 속에서 수행하고 다중 모달 피드백으로 판단해야 한다. 새로 공개한 RLE-Bench는 대화형 제어, 정책 학습, 인식 및 추정, 기계설계 등 4가지 로봇 개발 워크플로우를 포함한 벤치마크다. 전체 요약 6문장 읽기 → 
