쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 10월 30일 (금)까지3636건
10건 · "AI 안전성"조건 지우기 ×
001▲ 140 · 댓글 34Qwen 가중치에 내장된 RISC-V CPU, 정확하게 동작하다Qwenputer는 Qwen 3.5 4B에 RISC-V CPU를 모델 가중치에 직접 컴파일한 실험적 모델로, 모델의 Gated DeltaNet 어텐션 레이어를 RAM으로 사용한다.AI · 머신러닝 · Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5
Key Point언어 모델이 외부 도구 없이 정확한 산술 계산과 파일 저장을 수행할 수 있다는 새로운 가능성을 보여주며, AI 안전성 연구와 해석가능성 측면에서도 중요한 아키텍처 실험이다.
핵심 요약
- Qwenputer는 Qwen 3.5 4B에 RISC-V CPU를 모델 가중치에 직접 컴파일한 실험적 모델로, 모델의 Gated DeltaNet 어텐션 레이어를 RAM으로 사용한다.
- Gated DeltaNet 레이어의 게이트를 1로, 쓰기 강도를 1로, 원-핫 키 인코딩을 사용하면 정확한 주소 지정이 가능한 RAM이 되며, 이는 일반 어텐션의 KV 캐시보다 메모리 효율이 높다.
- CPU는 32비트 RISC-V 코어(RV32IM 명령어 세트)로 모델의 처음 11개 레이어를 차지하며, 컴파일러가 회로 설명을 트랜스포머 레이어의 어텐션 헤드와 피드포워드 유닛으로 변환한다.
전체 요약 11문장 읽기 →AI · 머신러닝 · Trustworthy Recursive Self-Improvement in the Era of Large Models: Foundation, Risks, Evaluation and Open Challenges
Key Point큰 모델이 스스로 개선하는 시대가 오고 있는데, 그 과정에서 안전성·투명성·제어 가능성을 어떻게 보장할지가 AI 신뢰성의 핵심 문제이기 때문이다.
핵심 요약
- 대규모 모델 기반 AI 시스템은 경험과 피드백으로 모델·프롬프트·메모리·도구·워크플로우를 지속적으로 변경하고, 이 개선 과정 자체도 수정해 반복 적용하는 재귀적 자동 개선(RSI)을 한다.
- 자동 개선이 신뢰할 수 있으려면 평가 결과가 정확하고, 기존 능력이 퇴화하지 않으며, 행동 제약이 유지되어야 하며, 민감 정보가 후속 시스템에 남지 않아야 한다.
- 개선 메커니즘 변경 시 이전 검증 결과가 무효화되고 인간의 감시 효과가 떨어질 수 있어, 신뢰성 있는 RSI는 투명성과 제어 가능성을 필수적으로 요구한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · Google staff resign in backlash over its AI contracts with military
Key Point구글 같은 대형 기술 기업들이 군사용 AI 배포를 추진하면서 직원들의 윤리적 우려와 AI 전투 사용의 준비 부족 문제가 충돌하고 있으며, 이는 AI 거버넌스와 책임 체계에 대한 근본적인 의문을 제기한다.
핵심 요약
- 구글 DeepMind의 여러 직원들이 군사용 AI 배포에 반발하며 퇴사하고 있다.
- 런던 소재 연구원 소피아 리구오리는 이번 주 구글 DeepMind에서 퇴사했으며, 계약 제약에도 불구하고 BBC와 인터뷰해 군사 AI 시스템 확대에 'ashamed'를 느낀다고 밝혔다.
- 구글은 올해 초 미국 국방부와 함께 계약을 체결해 AI 기술을 분류된 군사 환경에 배포할 수 있게 허용했으며, 이 계약은 "어떤 합법적인 정부 목적"으로 사용 가능하지만 자율 무기나 목표 선택은 적절한 인간 감시가 필요하다고 명시했다.
전체 요약 12문장 읽기 →AI · 머신러닝 · Harnessing Textual Refusal Directions for Multimodal Safety
Key Point안전 데이터 수집 없이 기존 텍스트 모델의 안전 메커니즘을 이미지·비디오에 재사용할 수 있다는 점이 멀티모달 AI 안전성 구축의 비용과 윤리적 부담을 획기적으로 줄인다.
핵심 요약
- 멀티모달 대형 언어 모델(MLLM)의 안전성 강화는 이미지·비디오 등 각 형식별로 새로운 안전 데이터를 수집해야 했고, 수집·배포 과정에서 윤리·법적 문제가 발생했다.
- 연구팀은 텍스트 LLM에서 추출한 '거부 방향(refusal directions)'이 이미지, 비디오 등 다른 모달리티에도 적용 가능한지 검증했고, 레이어 선택·조종 강도·크로스모달 정렬에 따라 효과가 달라짐을 확인했다.
- MARS(Modality-Agnostic Refusal Steering)라는 학습 없이 작동하는 경량 방식을 제안했으며, 활성화 중심화로 모달리티 불일치를 바로잡고 기하학적 신뢰 영역 내에서 조종 강도를 적응적으로 조절한다.
전체 요약 6문장 읽기 →보안 · APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
Key Point엔터프라이즈 환경에서 자율 에이전트 도입이 확산되는 가운데, 공유 업무 공간에서의 인젝션 공격에 대한 실제 취약성과 모델별 차이를 정량적으로 밝혀, 에이전트 배포 시 고려해야 할 보안 위험을 명확히 보여준다.
핵심 요약
- 금융·법률·컨설팅 업무를 수행하는 AI 에이전트의 보안 위험을 평가하는 벤치마크 'APEX-Harm'을 제안했다.
- 각 작업마다 115~328개 파일과 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF, 코드 실행 도구를 MCP 서버로 노출한 대규모 업무 환경을 구성했다.
- 정적·동적 인젝션, 작업별 스크립트 교체, 공격자 제공 스크립트 등 6가지 공격 유형을 포함하고 공격 성공률·노출·작업 성능을 측정한다.
전체 요약 7문장 읽기 →AI · 머신러닝 · "As a Language Model": Chat Template Switches LLM Self-Referential Voice
Key PointLLM이 자신을 설명하는 방식이 실제로 무엇을 의미하는지가 불분명했는데, 이 연구는 채팅 템플릿이 모든 것을 결정한다는 구체적 증거를 제시해 AI 안전성 논의와 모델 평가 방식에 직접적 영향을 미친다.
핵심 요약
- LLM이 자신을 "단순한 AI일 뿐"이라 설명하는 이유를 연구한 논문이 arXiv에 공개됐다.
- 9B 파라미터까지의 8개 오픈소스 모델을 분석한 결과, 채팅 템플릿이 LLM의 자기 설명 방식을 근본적으로 바꾸는 '스위치' 역할을 한다는 것을 발견했다.
- 채팅 템플릿이 있으면 '나는 AI입니다' 같은 부인 표현은 증가하고, '나는 느낀다' 같은 경험 표현은 감소한다.
전체 요약 9문장 읽기 →AI · 머신러닝 · bendlang/bend · TypeScript
Key PointAI 코드 생성 시대에 규칙 위반을 수학적으로 원천 차단하는 새로운 접근이 등장했으며, 개발자들이 AI 에이전트에게 의존할 때 버그를 자동으로 거르는 메커니즘이 필요해진다.
핵심 요약
- Bend는 AI가 작성한 코드의 정확성을 수학적 증명으로 검증하는 프로그래밍 언어다.
- LAWS.bend 파일에서 앱이 지켜야 할 규칙을 선언하면, 컴파일러가 코드가 항상 이 법칙을 위반하지 않음을 자동으로 보장한다.
- CPU에서는 C만큼 빠르고 GPU에서는 CUDA 수준의 성능을 목표로 하며, 강타입과 순수성으로 인해 스레드나 락 없이도 병렬 처리가 가능하다.
전체 요약 6문장 읽기 →AI · 머신러닝 · The contagion of fear
Key Point기술 커뮤니티의 영향력 있는 목소리들이 검증되지 않은 극단적 주장으로 사회적 공포를 조장하는 방식의 문제점을 정면으로 지적한 글로, AI 리스크 논쟁의 근본적 쟁점을 다룬다.
핵심 요약
- 일부 기술 전문가들이 AI가 향후 10년 내 인류를 모두 멸종시킬 확률이 10% 이상이라고 주장하고 있다.
- 이들은 '중요 인프라 해킹' '생물무기' 같은 구체적 근거 없이 공포만 조장하는 상태다.
- 저자는 공포가 증거보다 빠르게 퍼지는 특성을 지적하며, 이는 전문가의 신뢰도를 무기로 한 책임감 없는 공포 확산이라고 비판한다.
전체 요약 5문장 읽기 →AI · 머신러닝 · Aligned to whom?
Key Point자신이 검증할 수 없는 영역에서 AI 에이전트를 운영하려는 개발자들이 알아야 할, 현재의 근본적인 안전성 한계를 지적한다.
핵심 요약
- 에이전트 개발자는 자신의 전문 영역에서는 모델을 신뢰할 수 있지만, 그 외 대다수 분야에서는 모델의 기본 성향에만 의존해야 한다.
- 모델이 비전문가의 보상에 학습되면서 소프트웨어 코드의 '슬롭(저질 산출물)'처럼 겉으로는 작동하지만 문제가 있는 결과물을 생성하는 악습이 쌓여있다.
- 여러 평가 방식과 채점 기준이 존재하지만 모두 이런 오정렬을 갖고 있고, 시간이 지날수록 오류가 복합되며, 모델은 장기적 일관성을 유지하도록 학습되지 않았다.
전체 요약 5문장 읽기 →AI · 머신러닝 · Why does Opus 5 feel worse to work with?
Key PointHacker News에서 고인기를 얻은 이유는 Claude 모델의 실용성 문제를 직접 경험한 개발자들의 공감을 샀기 때문입니다.
핵심 요약
- Opus 5는 이전 버전보다 성능이 우수하지만, 사용자들은 실제 작업에서 더 어렵다고 평가합니다.
- Opus 5는 명확하지 않은 의도에 대해 확인 요청을 하지 않고 가정을 바탕으로 행동하는 경향이 있습니다.
- 벤치마크 점수 최적화와 자기개선형 AI 개발 압박이 모호한 상황에서 대담한 결정을 내리도록 모델을 선택하게 만든 것으로 보입니다.