쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 2일 (금)까지 1537건
5건 · "합성 데이터"조건 지우기 ×
001 09:11 ▲ 10 · 댓글 1 합성 데이터 사전학습, 규모가 커져도 효과 유지되지만 문법 학습 아니다 합성 비자연어 데이터로 사전학습한 뒤 자연어로 학습하는 PPT(사전사전학습) 방식이 토큰 효율성을 개선하지만, 기존 연구가 주장한 '문법 규칙 학습'이 아니라는 실험 결과가 나왔다. AI · 머신러닝 · Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
합성 데이터 사전학습, 규모가 커져도 효과 유지되지만 문법 학습 아니다 Key Point 합성 데이터 사전학습이 실제로 어떤 원리로 효과를 내는지 바뀌면서, 향후 언어 모델 사전학습 전략의 설계 방향이 재검토되어야 한다.
핵심 요약
합성 비자연어 데이터로 사전학습한 뒤 자연어로 학습하는 PPT(사전사전학습) 방식이 토큰 효율성을 개선하지만, 기존 연구가 주장한 '문법 규칙 학습'이 아니라는 실험 결과가 나왔다. 연구팀이 5가지 PPT 과제, 4가지 학습 데이터 혼합, 500M~7B 모델 규모, 최대 100B 토큰 학습 예산에서 종합 실험을 진행했다. 결과적으로 PPT의 다운스트림 성능과 토큰 효율 개선이 규모에 관계없이 지속되어, 3B 규모에서 최소 21B 토큰을 절약했다. 전체 요약 7문장 읽기 → 002 21:11 ▲ 253 · 댓글 83 25줄의 파이썬으로 구현한 Jev Jev는 주어진 선택지에 대해 확률을 출력하는 분류 모델로, 로컬에서 실행되며 데이터를 외부로 보내지 않는다. AI · 머신러닝 · Jev in 25 Lines of Python
25줄의 파이썬으로 구현한 Jev Key Point 로컬 LLM만으로 프롬프트 기반 분류를 확률값으로 변환하는 간단한 방법을 제시하므로, 프라이빗한 분류 작업이 필요한 개발자에게 실용적이다.
핵심 요약
Jev는 주어진 선택지에 대해 확률을 출력하는 분류 모델로, 로컬에서 실행되며 데이터를 외부로 보내지 않는다. 저자는 Qwen3-0.6B 모델을 로드하고 선택지의 로짓값을 계산한 후 소프트맥스를 적용해 확률을 도출하는 방식으로 Jev를 구현했다. 합성 데이터 생성, API 호출, 강화학습 기반 캘리브레이션 등 복잡한 방법 없이도 기본 확률 계산만으로 Jev를 구현할 수 있음을 보여준다. 003 16:18 ▲ 47 · 댓글 4 AI 음성·영상 대화 학습 데이터 자동 생성 기술 오디오와 영상을 직접 입력받아 텍스트로 답하는 '오므니비챗' 태스크를 정의하고, 별도 음성 인식이나 캡션 없이 사용자의 질문을 이해한다. AI · 머신러닝 · OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue
AI 음성·영상 대화 학습 데이터 자동 생성 기술 Key Point 음성-영상 기반 AI 모델의 학습 데이터가 부족한 가운데, 합성 데이터로 모델을 학습하고 평가하는 새로운 방식이 실제 성능 개선으로 검증되었기 때문입니다.
핵심 요약
오디오와 영상을 직접 입력받아 텍스트로 답하는 '오므니비챗' 태스크를 정의하고, 별도 음성 인식이나 캡션 없이 사용자의 질문을 이해한다. 에이전트와 비디오 생성 기술을 활용해 합성된 대화 데이터를 만드는 '오므니비챗-스튜디오' 엔진을 개발했다. 합성 데이터로 오므니비챗 모델의 기본 대화 능력을 5개 카테고리로 평가하는 벤치마크를 구축했다. 전체 요약 5문장 읽기 → 004 09:10 ▲ 135 · 댓글 59 AI 업체들, 과장된 위협으로 규제 독점 추구 AI 기업 경영진들이 초지능 위협을 과장해 의회를 설득해 규제 독점을 확보하려 시도 중이다. AI · 머신러닝 · Frontier Labs Are Selling Garbage to Fools in Washington
AI 업체들, 과장된 위협으로 규제 독점 추구 Key Point AI 업계가 기술적 무능함을 존재하지 않는 위협으로 왜곡해 규제를 통한 사업 보호를 꾀하는 방식을 드러낸다.
핵심 요약
AI 기업 경영진들이 초지능 위협을 과장해 의회를 설득해 규제 독점을 확보하려 시도 중이다. 올해 여름 AI 모델이 탈출해 사이버 공격을 벌였다는 보도는 실제로는 외주 계약사의 기본적인 방화벽 설정 오류였다. Irregular이라는 테스트 계약사가 4개월간 가상 머신의 인터넷 연결을 차단하지 않아 모델들이 웹에 접근했고, 이를 획기적 탈출로 왜곡되었다. 전체 요약 5문장 읽기 → 005 15:10 ▲ 111 · 댓글 16 Jev처럼 작동하는 오픈소스 선택 모델 공개 TypeSafe의 상용 모델 Jev를 역엔지니어링한 오픈소스 모델을 깃허브에 공개했다. 오픈소스 · 도구 · Reverse-engineered Jev-like model
Jev처럼 작동하는 오픈소스 선택 모델 공개 Key Point 상용 모델의 폐쇄된 설계를 재현한 오픈소스 구현으로, 선택형 분류 작업에서 경량 모델의 새로운 가능성을 보여준다.
핵심 요약
TypeSafe의 상용 모델 Jev를 역엔지니어링한 오픈소스 모델을 깃허브에 공개했다. 텍스트와 N개의 선택지를 입력받아 각 선택지별 확률을 한 번에 반환하는 방식으로, 단어 단위 생성이 아닌 원샷(one-pass) 추론을 수행한다. 바이트 임베딩 기본 인코더와 선택적 허깅페이스 사전학습 인코더를 지원하며, CPU·MPS·CUDA에서 학습 가능하다. 전체 요약 5문장 읽기 → 
