쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 2일 (월)까지3776건
2건 · "스케일링 효율성"조건 지우기 ×
001▲ 33 · 댓글 1System-1과 System-2의 협력이 AGI 확장의 열쇠인가AGI 달성을 위해 지금까지는 더 큰 모델, 더 많은 데이터와 계산력으로 System-2(실행 담당)를 확장하는 방식에 의존해왔다.AI · 머신러닝 · Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?
Key Point모델 스케일링 외에 실행 효율성을 먼저 최적화하는 방식이 AGI 달성에 더 효과적일 수 있음을 보여주기 때문에, 대규모 AI 프로젝트의 계산 자원 배분 방향을 재검토하는 데 중요하다.
핵심 요약
- AGI 달성을 위해 지금까지는 더 큰 모델, 더 많은 데이터와 계산력으로 System-2(실행 담당)를 확장하는 방식에 의존해왔다.
- 논문은 System-1(가벼운 의미 인식 예측기)과 System-2를 함께 설계해 System-2가 가치 있는 작업만 수행하도록 게이팅하는 방식을 제안한다.
- 조건부 상호작용 루프는 System-1이 각 후보의 유용성을 추정, System-2가 적응형 임계값으로 승인된 것만 실행, 결과가 System-1을 업데이트하는 구조로 동작한다.
전체 요약 8문장 읽기 →AI · 머신러닝 · CoWindow Attention: Full Causal Coverage Is a Collective Property
Key Point효율적인 장문맥 처리가 필수인 생성형 AI에서 Full Attention의 중복 계산을 제거하면서도 성능을 유지하는 방법이 제시되었으므로, 스케일링 효율성을 개선하려는 팀들의 관심을 받을 만합니다.
핵심 요약
- 기존 Full Attention 방식은 모든 어텐션 헤드가 전체 인과 히스토리를 반복 처리하면서 중복 계산과 메모리 오버헤드가 발생한다.
- 연구팀이 제안한 CoWindow Attention(CoWA)은 KV 헤드 간에 인과 히스토리 접근을 분산시키는 구조화된 어텐션이다.
- 모든 헤드는 근거리 대각 윈도우와 접두사-싱크 윈도우를 공유하며, 나머지 먼 과거는 보완적 장거리 윈도우로 분할되어 전체 인과 커버리지를 달성한다.
전체 요약 10문장 읽기 →