쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 17일 (화)까지4750건
10건 · "매개변수 효율"조건 지우기 ×
001▲ 21 · 댓글 2매개변수 40% 줄인 루프백 트랜스포머 논문반복 적용되는 공유 블록으로 매개변수를 줄이는 루프드 트랜스포머(Looped Transformer)에서 매개변수 공유만으로는 반복 계산 결과를 재사용하는 방식이 결정되지 않는다고 지적합니다.AI · 머신러닝 · Loopback Transformer: Towards a Unified View of Residual Looped Transformers

Key Point매개변수 효율성을 유지하면서 성능을 높이는 트랜스포머 구조의 새로운 방향을 제시하며, 대규모 모델의 학습과 배포 비용 절감에 직접 영향을 미칩니다.
핵심 요약
- 반복 적용되는 공유 블록으로 매개변수를 줄이는 루프드 트랜스포머(Looped Transformer)에서 매개변수 공유만으로는 반복 계산 결과를 재사용하는 방식이 결정되지 않는다고 지적합니다.
- 깊이-메모리 관점에서 잔차 연결을 분석하면, 각 블록 적용 후 어떤 표현이 저장되고 이후 단계에서 어떻게 가중치가 매겨지는지 파악할 수 있습니다.
- 블록의 전체 출력은 입력과 새로운 업데이트를 모두 포함하므로, 이를 가중치화하면 입력이 이미 전달하는 이력까지 재가중치화됩니다.
전체 요약 8문장 읽기 → 002▲ 11 · 댓글 3여러 목표를 동시에 학습하는 저비용 언어모델 최적화 기법 LambdaMix언어모델 배포 시 사용자 선호도에 따라 목표 간 트레이드오프를 조정해야 하지만 기존 후학습 방식은 고정된 가중치의 단일 정책만 생성한다.AI · 머신러닝 · Steerable Multi-Objective Group-Relative Preference Optimization with Jointly Trained Low-Rank Adapters

Key Point사용자 선호도에 따라 실시간으로 모델의 행동을 조정하면서도 저비용으로 여러 목표를 동시에 최적화할 수 있다는 점이 실무 배포에서 중요하다.
핵심 요약
- 언어모델 배포 시 사용자 선호도에 따라 목표 간 트레이드오프를 조정해야 하지만 기존 후학습 방식은 고정된 가중치의 단일 정책만 생성한다.
- LambdaMix는 매개변수 효율적인 방법으로 그룹 상대 강화학습을 통해 선호도에 따라 달라지는 정책 집합을 학습한다.
- 고정된 기본 모델 위에 목표당 하나씩 저비용 어댑터(LoRA)를 함께 학습하며, 하나의 선호도 벡터가 어댑터 혼합을 선택하고 보상 가중치를 조정한다.
전체 요약 8문장 읽기 → 003▲ 11 · 댓글 2루프 트랜스포머를 위한 초저비트 KV 캐시 양자화 기술 LoopVQ루프 트랜스포머는 동일한 레이어를 여러 번 재적용해 매개변수 효율성을 높이면서도 표준 트랜스포머 성능을 유지하는 아키텍처다.AI · 머신러닝 · LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers

Key Point루프 트랜스포머는 파라미터 효율성이 뛰어나지만 KV 캐시 메모리가 주요 병목인데, 0.5비트 수준의 극저비트 양자화로 추론 처리량을 6배까지 늘릴 수 있음을 보여준다.
핵심 요약
- 루프 트랜스포머는 동일한 레이어를 여러 번 재적용해 매개변수 효율성을 높이면서도 표준 트랜스포머 성능을 유지하는 아키텍처다.
- 하지만 루프의 각 단계마다 고유한 KV 캐시를 저장하므로, KV 캐시가 루프 단계 수에 따라 선형 증가하며 메모리 병목이 된다.
- 연구진은 루프 모델의 KV 캐시가 루프 축을 따라 높은 중복성을 가지며, 루프 단계별로 양자화 민감도가 크게 다름을 발견했다.
전체 요약 7문장 읽기 → 004▲ 15 · 댓글 2작은 모델의 빠른 생성, 큰 모델의 지식 활용두 개의 언어 모델 간 직접 통신을 가능하게 하는 PACT(Prefill-to-Autoregressive Cross-model Transfer) 기법을 다룬 논문이다.AI · 머신러닝 · On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer

Key Point두 모델 협력의 실제 효과를 정확히 측정하는 방법을 제시하면서 성능 향상이 실제로 정보 전달에서 나오는지 구별하는 것이 중요하다.
핵심 요약
- 두 개의 언어 모델 간 직접 통신을 가능하게 하는 PACT(Prefill-to-Autoregressive Cross-model Transfer) 기법을 다룬 논문이다.
- 큰 모델의 프롬프트 표현을 작은 모델의 효율적 생성 과정에 결합하여 성능과 추론 비용의 균형을 맞추는 방식이다.
- 저자들은 PLatour라는 오픈소스 PACT 프레임워크를 개발했으며, 동결된 모델들을 가벼운 선형 브리지로 연결하고 작업 보상으로 직접 훈련한다.
전체 요약 8문장 읽기 → 005▲ 235 · 댓글 3뇌 신경 신호 예측, 104B 대규모 모델로 풀다뇌 인코딩 모델은 자극에 대한 신경 반응을 예측하는데, 기존엔 동결된 사전학습 모델의 출력층만 학습했으나 신경 데이터가 비싸고 제한적이라 큰 모델 학습이 어려웠다.AI · 머신러닝 · Scaling Parameter-Efficient Fine-Tuning for Brain Encoding

Key Point매개변수 효율적 미세조정 기법으로 뇌 신경 신호 예측 분야에서 100B대 대규모 모델 활용이 처음 가능해졌고, 기존 접근법 대비 계산 효율을 획기적으로 개선했다.
핵심 요약
- 뇌 인코딩 모델은 자극에 대한 신경 반응을 예측하는데, 기존엔 동결된 사전학습 모델의 출력층만 학습했으나 신경 데이터가 비싸고 제한적이라 큰 모델 학습이 어려웠다.
- 연구진은 매개변수 효율적 미세조정(PEFT)을 적용해 최대 104B 파라미터 규모의 멀티모달 백본을 적응시켰으며, 이는 뇌 인코딩에 적용된 최대 규모 모델이다.
- 슬라이딩 윈도우 대신 백본의 인과 구조를 활용해 한 번에 여러 시점을 예측함으로써 특징 추출 비용을 획기적으로 줄였다.
전체 요약 6문장 읽기 → 006▲ 32 · 댓글 2음성 합성에서 발화자와 억양 분리 제어하는 DEFINE 발표Zero-shot TTS는 짧은 음성 샘플로 새로운 발화자를 재현할 수 있지만 발화자 정체성과 억양이 같은 샘플에 섞여 있는 문제가 있었다.AI · 머신러닝 · DEFINE: Exemplar-Guided Accent Control for Zero-Shot TTS

Key PointZero-shot TTS에서 발화자와 억양을 독립적으로 제어하는 새로운 방식으로, 단일 모델로 학습 밖의 억양까지 처리할 수 있다는 점이 기술적 진전을 보여준다.
핵심 요약
- Zero-shot TTS는 짧은 음성 샘플로 새로운 발화자를 재현할 수 있지만 발화자 정체성과 억양이 같은 샘플에 섞여 있는 문제가 있었다.
- DEFINE은 발화자 정체성과 목표 억양을 각각 다른 음성 샘플로 조건화해 두 요소를 분리하는 프레임워크이다.
- F5-TTS 기반이며 LoRA를 사용한 매개변수 효율적 적응으로 구현되었고, 짧은 억양 샘플을 조건화 공간으로 매핑하는 인코더를 학습된 억양 프로토타입으로 감독한다.
전체 요약 8문장 읽기 → 007▲ 34 · 댓글 2루프형 트랜스포머의 추론 효율 50% 끌어올리는 LoopCD루프형 트랜스포머는 재귀 루프 내에서 공유 블록을 반복 실행해 매개변수 효율을 높이지만, 각 루프마다 생성되는 중간 표현은 표준 디코딩에서 버려진다.AI · 머신러닝 · Decoding Looped Transformers Better for (Almost) Free

Key Point루프형 트랜스포머는 추론 효율을 중시하는 모바일·엣지 환경에서 주목받는데, LoopCD로 추론 계산량을 절반 가까이 줄이면서 정확도도 높일 수 있다는 것이 중요하다.
핵심 요약
- 루프형 트랜스포머는 재귀 루프 내에서 공유 블록을 반복 실행해 매개변수 효율을 높이지만, 각 루프마다 생성되는 중간 표현은 표준 디코딩에서 버려진다.
- 강한 예측과 약한 예측을 자동으로 쌍으로 제공하는 루프의 특성을 활용하면, 보조 모델이나 외부 학습 없이 디코딩을 개선할 수 있다.
- 연구진은 훈련 없는 대비학습 프레임워크 LoopCD를 제안했으며, 최종 예측을 이전 루프와 비교해 토큰 선택을 안내한다.
전체 요약 7문장 읽기 → 008▲ 60 · 댓글 2적응형 전문가 혼합으로 확산 모델의 소수 단계 생성 개선마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다.AI · 머신러닝 · E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

Key Point확산 모델의 가장 큰 장점인 소수 단계 고속 생성을 개선하는 새로운 방법으로, 기존 접근법의 근본적인 문제(후방 붕괴)를 회피하면서 매개변수 효율성을 유지한다.
핵심 요약
- 마스크 확산 모델(MDM)은 각 제거 단계에서 여러 토큰을 점진적으로 해제하여 시퀀스를 생성하지만, 기존 역프로세스는 위치별로 분해되어 있어 소수 단계 영역의 샘플 품질을 제한한다.
- 최근 연구는 위치 간 상관관계를 포착하기 위해 변분 자동인코더로 학습된 연속 가우시안 잠재변수를 도입했으나, 이러한 접근법은 잠재변수가 무시되는 후방 붕괴(posterior collapse) 문제에 빠지기 쉽다.
- 본 논문은 강화된 혼합-전문가(E-MoE) 방법을 제안하며, MoE 백본의 전문가 라우팅 결정으로 주어진 이산 공유 잠재변수에 대한 분해된 분포의 혼합으로 역프로세스를 구성한다.
전체 요약 5문장 읽기 → 009▲ 46 · 댓글 1테스트 시점 스케일링 효율 높이는 적응형 루프 트랜스포머루프 트랜스포머는 계층을 재사용해 매개변수 효율성을 보이지만, 테스트 시 출력이 길어질수록 성능 향상을 제대로 비교한 연구가부족했다.AI · 머신러닝 · Improving Test-Time Scaling with Adaptive Looped Transformers

Key Point긴 시퀀스 생성 시 추론 효율을 크게 높일 수 있는 새로운 방법이 제시돼, 언어 모델의 테스트 시점 성능-계산량 트레이드오프를 개선하려는 연구자들에게 중요하다.
핵심 요약
- 루프 트랜스포머는 계층을 재사용해 매개변수 효율성을 보이지만, 테스트 시 출력이 길어질수록 성능 향상을 제대로 비교한 연구가부족했다.
- 기존 루프 트랜스포머는 비루프 모델 대비 정확도-계산 기울기(테스트 시 디코딩 FLOPs 두 배당 정확도 이득)가 가파르지만, 같은 계산량에서는 비루프 모델에 미치지 못한다.
- 고정 깊이 루핑은 모든 토큰에 추가 반복을 쓰는데, 실제로는 많은 토큰이 추가 반복의 이득을 받지 못한다는 것을 발견했다.
전체 요약 8문장 읽기 → 010▲ 11 · 댓글 2과거 정보 기억하는 로봇 제어 모델 'MemBodied' 제안비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다.AI · 머신러닝 · MemBodied: Recurrent Associative Memory for Vision-Language-Action Models

Key Point과거 관찰 정보가 필요한 로봇 제어 작업에서 컨텍스트 확장의 비효율성을 해결하면서 매개변수 효율성까지 확보한 새로운 메모리 메커니즘이다.
핵심 요약
- 비전-언어-행동 모델은 현재 관찰만으로 로봇 제어를 하는데, 과거 정보가 필요한 조작 작업에서 한계를 보인다.
- 과거 관찰을 컨텍스트에 포함하면 해결되지만 컨텍스트 크기 증가와 추론 지연이라는 문제가 발생한다.
- MemBodied는 고정 크기의 기억 구조로, 상호작용을 기록하는 연관 상태(associative state)와 초기 장면을 보존하는 에피소드 앵커(episode anchor) 두 개 요소로 구성된다.
전체 요약 8문장 읽기 →