쌓인 기록에서 찾기
무엇을 찾으세요?
날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위부터 2026년 9월 24일 (목)까지958건
4건 · "토크나이저"조건 지우기 ×
001▲ 11 · 댓글 3단어 변형을 함수처럼 분해해 어휘집 크기를 줄인 토크나이저기존 토크나이저는 hello, Hello, HELLO 같은 대소문자나 악센트 변형을 별개의 어휘로 취급해 임베딩 공간이 파편화되거나, 정규화해서 정보를 손실한다.AI · 머신러닝 · The Functionalizer: Lossless Functional Decomposition for Subword Tokenization
단어 변형을 함수처럼 분해해 어휘집 크기를 줄인 토크나이저
Key Point단어의 표면적 변형을 의미론적 정보 손실 없이 효율적으로 처리하는 방식으로, 어휘 크기 제약이 있는 언어모델의 용량 문제를 해결할 수 있는 접근법을 보여준다.
핵심 요약
- 기존 토크나이저는 hello, Hello, HELLO 같은 대소문자나 악센트 변형을 별개의 어휘로 취급해 임베딩 공간이 파편화되거나, 정규화해서 정보를 손실한다.
- Functionalizer는 대문자화, 악센트, 반복 문자 같은 변형을 매개변수화된 연산자(opcode)와 기본 토큰(operand)으로 분해하는 사전 토크나이저다.
- 유니코드 프라이빗 영역을 이용해 변형 정보를 인코딩하며, 모든 변환이 역함수 가능하다.
- 자연어와 코드 모두에서 어휘 슬롯을 최대 19.7% 줄이면서도 전체 코퍼스를 커버한다.
- GPT-2 98M 모델 평가에서 Python 코드 문법 유효성이 7.70%에서 9.12%로 개선되고, 자연어에서 반복되는 n-그램이 감소했다.
AI · 머신러닝 · StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training
이미지 생성 모델의 벡터 양자화 학습 안정성 개선 방법
Key Point이미지 생성 모델의 핵심 컴포넌트인 벡터 양자화의 학습 불안정성을 해결하는 실무적 방법론을 제시하므로, 생성형 AI 모델 개발자와 연구자에게 즉시 적용 가능한 지침을 제공한다.
핵심 요약
- 자동회귀 및 마스킹 이미지 생성 모델의 기초가 되는 벡터 양자화(VQ) 토크나이저는 학습 과정이 불안정하다는 문제를 지적했다.
- 인코더-디코더와 코드북 학습이 얽혀 있어 두 모듈이 협력할 때만 작동하므로, 학습이 가중될수록 붕괴되는 취약함이 있다.
- StableVQ는 동적 STE를 통해 인코더의 학습 목표를 안정화하고, 리전 VQ 손실로 코드북이 독립적으로 전체 추적을 보장하며, 분리된 스케줄로 각 모듈이 별도의 학습률을 갖도록 한다.
- 새로운 학습 가능 파라미터를 추가하지 않으면서 공유 투영 코드북 위에 적용 가능하다.
- ImageNet 실험 결과 다양한 코드북 크기와 초기화 설정에서 학습 안정성, 코드북 활용도, 재구성 품질이 일관되게 개선되었다.
AI · 머신러닝 · shiyu-coder/Kronos · Python
금융 시장 전문 AI 모델 Kronos 오픈소스 공개
Key Point금융 시계열 분석에 특화된 첫 오픈소스 기초 모델로, 일반 시계열 모델과 달리 K-line 데이터의 독특한 특성을 처리하도록 설계되어 개인 트레이더와 정량 분석가들이 직접 활용할 수 있습니다.
핵심 요약
- 금융 캔들차트(K-line) 데이터 분석에 특화된 오픈소스 기초 모델 Kronos를 공개했습니다. 전 세계 45개 이상의 거래소 데이터로 사전 학습되었습니다.
- OHLCV 데이터를 계층적 이산 토큰으로 변환하는 전문화된 토크나이저와 자동회귀 트랜스포머로 구성되어 금융 데이터의 높은 노이즈 특성을 처리합니다.
- Kronos-mini(4.1M), Kronos-small(24.7M), Kronos-base(102.3M), Kronos-large(499.2M) 등 다양한 크기의 모델을 Hugging Face Hub에서 무료로 제공합니다.
- KronosPredictor 클래스로 몇 줄의 코드만으로 주가 예측을 수행할 수 있으며, 개별 또는 배치 예측 모두 지원합니다.
- 컨텍스트 길이는 Kronos-mini는 2048, 다른 모델들은 512로 설정되어 있습니다.
AI · 머신러닝 · OpenBMB/VoxCPM · Python
토크나이저 없는 다국어 음성합성 VoxCPM2 공개
Key Point텍스트 설명만으로 음성을 만들고, 짧은 샘플로 목소리를 복제하며, 한 번에 48kHz 고품질 오디오를 생성하는 음성합성 기술이 오픈소스로 공개되어 개발자들이 자유롭게 활용할 수 있게 됐다.
핵심 요약
- OpenBMB가 VoxCPM2를 출시했다. 토크나이저를 거치지 않고 직접 음성을 생성하는 2B 파라미터 모델으로, 200만 시간 이상의 다국어 음성 데이터로 학습됐다.
- 30개 언어를 지원하며 텍스트 설명만으로 새로운 음성을 만드는 음성 설계 기능, 짧은 음성 샘플로 목소리를 복제하는 제어 가능한 클로닝, 음성과 대본을 함께 제공하는 최고 품질 클로닝을 지원한다.
- 입력은 16kHz 음성을 받아 48kHz 스튜디오 품질 오디오로 출력하며, RTX 4090에서 RTF 0.3 수준의 실시간 스트리밍 속도를 달성한다.
- Apache-2.0 라이선스로 상용 이용이 가능하며, Hugging Face와 ModelScope에서 가중치와 코드를 공개했다.