쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 3일 (화)까지3800건
3건 · "하이퍼네트워크"조건 지우기 ×
001▲ 31 · 댓글 2양자 회로로 언어모델 성능 끌어올린다언어모델의 각 트랜스포머 블록에 양자 회로 모듈을 덧붙이는 HyperQ 기법을 제안했다.AI · 머신러닝 · Circuit Hypernetworks for Quantum-Augmented Diffusion Language Models
Key Point양자컴퓨팅의 이론적 우월성을 실제 언어모델 작업에 구현하면서 계산 효율성을 확보한 새로운 아키텍처로, 고비용 양자 회로를 대규모 신경망에 통합하는 방법론을 제시한다.
핵심 요약
- 언어모델의 각 트랜스포머 블록에 양자 회로 모듈을 덧붙이는 HyperQ 기법을 제안했다.
- 토큰의 숨겨진 상태를 읽어 양자 회로의 좌표를 생성하고 실행한 후 결과를 잔차 연결로 더한다.
- 회로 하이퍼네트워크가 토큰별로 회전각과 결합력, 측정축을 생성하되 공유 희소 회로 구조를 사용한다.
전체 요약 5문장 읽기 →AI · 머신러닝 · IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
Key PointMoE는 모델 용량을 확장하는 핵심 기술인데, IntBMoE가 참여도·계산·메모리 세 제약을 동시에 독립적으로 제어할 수 있게 되면서 대규모 추천 시스템의 실전 배포 가능성을 열었습니다.
핵심 요약
- Mixture-of-Experts(MoE)의 참여도, 계산량, 메모리 비용을 독립적으로 제어할 수 없는 문제를 IntBMoE가 해결했습니다.
- 블록 조건화된 MoE로 모든 전문가가 토큰 생성에 기여하며(완전 참여), 라우터가 일부 블록만 실행해 계산량을 낮추고, 학습된 코드북이 메모리를 제한합니다.
- 하이퍼네트워크가 각 층의 전문가들을 동적으로 합성하고, Dual-Path Residual Gating이 두 경로를 곱셈 게이팅으로 연결합니다.
전체 요약 5문장 읽기 →AI · 머신러닝 · Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
Key PointLLM이 배포 후 사용자 상호작용 데이터를 학습하는 방식의 근본적 전환을 제시해, 미세조정 없이 동적 적응을 추구하는 개발자와 연구자에게 새로운 설계 방향을 제공한다.
핵심 요약
- 정적 사전학습 데이터 대신 실시간 상호작용 데이터로부터 모델 가중치를 생성하는 '무한-파라미터 LLM'이 제안됐다.
- 하이퍼네트워크가 사용자 입력이나 정정 같은 런타임 데이터를 공유 기본 네트워크의 저랭크 변조로 변환해 가중치를 동적으로 생성한다.
- 베이지안 신념으로 생성기의 잠재 코드를 추적해 세션 진행 중 가중치를 재계산하므로, 한 번만 읽고 고정하던 방식과 달라진다.
전체 요약 5문장 읽기 →