쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 11월 16일 (월)까지4683건
7건 · "토큰 압축"조건 지우기 ×
001▲ 11 · 댓글 2추론 기록 압축으로 LLM의 토큰 낭비 줄인다추론은 언어모델이 어려운 문제를 푸는 능력을 크게 향상시키지만, 긴 추론 과정이 비용을 늘린다.AI · 머신러닝 · Why Pay for Long Reasoning When Rewrite Do Trick? Causal Effects of Reasoning History Compaction on Future Generation and Agent Cost

Key PointLLM 추론 과정의 토큰 낭비 구조를 드러내고 재훈련 없이 비용을 실제로 줄일 수 있는 방법을 제시하며, 에이전트 시스템의 운영 비용 최적화에 직접 적용할 수 있다.
핵심 요약
- 추론은 언어모델이 어려운 문제를 푸는 능력을 크게 향상시키지만, 긴 추론 과정이 비용을 늘린다.
- 효율적인 추론은 반복과 문제 해결에 불필요한 텍스트를 줄여 유용한 분석을 더 적은 토큰으로 표현해야 한다.
- 연구팀은 개방형 가중치 모델이 재훈련 없이 과거 추론을 재작성해 덜 장황한 추론을 생성할 수 있는지 조사했다.
전체 요약 7문장 읽기 → 002▲ 173 · 댓글 16텍스트-이미지 AI 모델, $21K로 학습 후 공개2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다.AI · 머신러닝 · Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)

Key Point작은 팀이 주요 클라우드 AI 회사와 비교할 수 없는 수준의 비용으로 실용적인 이미지 생성 모델을 만들고 공개했으며, 이는 확산 모델의 효율성 개선 방향을 보여준다.
핵심 요약
- 2인 연구팀 Linum이 약 2만 1천 달러의 학습 비용으로 훈련한 Pyramid-JiT(P-JiT) 이미지 생성 모델을 Apache 2.0 라이선스로 공개했다.
- 모델은 2.42억 개의 파라미터(학습 시 포함)를 가진 확산 모델이며, 512²에서 1024² 해상도로 단계적으로 학습했고, Qwen 3.5-4B 텍스트 인코더를 사용한다.
- 기존 VAE 기반 압축 대신 픽셀 공간에서 직접 작업하고 32×32 토큰 압축으로 어텐션 컨텍스트 윈도우를 4배 축소했으며, 이전 모델보다 11배 적은 샘플로 수렴한다.
전체 요약 8문장 읽기 → 003▲ 19 · 댓글 3테스트 시점 회귀로 토큰 압축 성능 대폭 개선언어·멀티모달 모델의 토큰 압축은 효율성의 핵심 병목이지만 기존 풀링과 학습된 투영 방식의 성능이 떨어진다.AI · 머신러닝 · Rethinking Sequence Compression with Test-time Regression

Key Point기존 풀링·투영 방식의 약점을 해결하면서 더 적은 토큰으로 더 나은 성능을 달성하는 새로운 압축 기법이 여러 과제에서 검증됐다.
핵심 요약
- 언어·멀티모달 모델의 토큰 압축은 효율성의 핵심 병목이지만 기존 풀링과 학습된 투영 방식의 성능이 떨어진다.
- 새로운 접근으로 입력 토큰을 회귀 문제로 본 후, 피팅된 계수를 압축 표현으로 삼는 TTR-Compressor를 제시한다.
- 회귀 문제는 역전파로 엔드투엔드 학습하되, 순전파 중에는 폐쇄형 식으로 계수를 효율적으로 계산한다.
전체 요약 6문장 읽기 → 004▲ 12 · 댓글 2비전 토큰 50% 줄이고 성능 99.5% 유지하는 압축 기법Vision-language 모델은 강력하지만 비전 토큰이 입력 시퀀스의 대부분을 차지해 계산 비용이 크다는 문제가 있다.AI · 머신러닝 · V-CoLA: Vision Token Compression with Linear Attention

Key Point선형 어텐션 기반 비전-언어 모델에서 기존 압축 방법이 작동하지 않는 문제를 해결하는 새로운 접근법으로, 실무 배포 시 추론 속도와 메모리 효율을 크게 개선할 수 있다.
핵심 요약
- Vision-language 모델은 강력하지만 비전 토큰이 입력 시퀀스의 대부분을 차지해 계산 비용이 크다는 문제가 있다.
- 선형 어텐션을 활용한 하이브리드 아키텍처(예: Qwen3.5)가 등장하면서 기존 소프트맥스 기반 압축 방법들이 성능 저하를 보인다.
- 연구팀은 선형 어텐션에 특화된 훈련 불필요 토큰 압축 프레임워크 V-CoLA를 제안했다.
전체 요약 7문장 읽기 → 005당일 +120AI 에이전트 토큰 압축 도구 Headroom 공개Headroom은 AI 에이전트가 읽는 도구 출력, 로그, RAG 청크, 파일, 대화 기록을 LLM에 도달하기 전에 압축한다.AI · 머신러닝 · headroomlabs-ai/headroom · Python

Key PointAI 에이전트 사용 비용의 대부분을 차지하는 토큰을 크기에 따라 20~95% 줄일 수 있으며 클로드, 깃허브 코파일럿 등 주요 에이전트에 대해 기존 코드 수정 없이 즉시 적용할 수 있다.
핵심 요약
- Headroom은 AI 에이전트가 읽는 도구 출력, 로그, RAG 청크, 파일, 대화 기록을 LLM에 도달하기 전에 압축한다.
- 코딩 에이전트는 토큰 20% 절감, JSON은 60~95% 절감하면서 같은 답을 얻는다.
- Python 라이브러리, HTTP 프록시, MCP 서버의 세 가지 형태로 제공되며 압축은 사용자 머신에서 실행되어 프롬프트나 파일 내용이 외부로 전송되지 않는다.
전체 요약 13문장 읽기 → 006당일 +321Rust 기반 에이전트 플랫폼 OpenHuman, 경량 고성능 오픈소스 공개Rust 코어로 만든 OpenHuman은 데스크톱 앱·브라우저 UI·터미널·라이브러리 형태로 제공되는 에이전트 플랫폼이다.AI · 머신러닝 · tinyhumansai/openhuman · Rust

Key PointRust 기반 경량 설계로 수천 개 에이전트을 한 서버에서 운영할 수 있으며, 플러그인 가능한 아키텍처와 시각적 워크플로우가 기존 에이전트 플랫폼과 비교하는 핵심 차이점이다.
핵심 요약
- Rust 코어로 만든 OpenHuman은 데스크톱 앱·브라우저 UI·터미널·라이브러리 형태로 제공되는 에이전트 플랫폼이다.
- 인프로세스 실행으로 500개 에이전트를 한 프로세스에서 운영할 때 메모리 효율이 별도 프로세스 대비 약 25배 높으며, 콜드 에이전트 턴은 102ms, 전체 부트스트랩은 476ms에 완료된다.
- Cargo 기능 게이트로 필요한 모듈만 컴파일하며, 52~116MB 범위의 이진파일 크기를 선택할 수 있고 토큰 압축(tinyjuice)으로 모델 입력을 최적화한다.
전체 요약 10문장 읽기 → 007▲ 23 · 댓글 1텍스트를 선택적으로 압축하는 FocusVTC, 긴 문맥 처리 속도 2.79배 향상대규모 언어모델의 장문맥 처리는 계산과 메모리 비용이 큰데, 시각 텍스트 압축(VTC)은 텍스트를 이미지로 렌더링해 입력 길이를 줄인다.AI · 머신러닝 · FocusVTC: Efficient and High-Performance Visual Text Compression with Adaptive Resolution

Key Point긴 문맥을 처리하는 LLM 서비스에서 입력 토큰 수를 2.9배 줄이면서도 성능을 높이고 추론 속도를 2.79배 가속하는 방법이 제시되었으므로, 비용과 속도가 중요한 실제 배포 환경에서 직접 적용할 가치가 있다.
핵심 요약
- 대규모 언어모델의 장문맥 처리는 계산과 메모리 비용이 큰데, 시각 텍스트 압축(VTC)은 텍스트를 이미지로 렌더링해 입력 길이를 줄인다.
- 기존 방식은 해상도를 고정하므로 저DPI는 토큰을 절약하지만 가독성을 잃고, 고DPI는 불필요한 내용에 토큰을 낭비하는 문제가 있다.
- FocusVTC는 적응형 해상도로 이 트레이드오프를 깨뜨렸고, 압축된 저DPI 전역 뷰와 선택적 영역 강화를 결합한다.
전체 요약 9문장 읽기 →