쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
17건 · "BERT"조건 지우기 ×
001 03:11 ▲ 12 · 댓글 2 폐쇄형 선택지 판정용 소형 언어 인코더 설계 방식 비교 도구 선택 같은 폐쇄형 결정 작업을 위해 얼마나 작은 인코더를 쓸 수 있는지, 그리고 선택지를 함께 읽을지 개별로 읽을지를 비교하는 연구다. AI · 머신러닝 · Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
Key Point 소형 언어 모델로 도구 선택·카테고리 분류 같은 의사결정을 더 빠르고 안정적으로 처리할 수 있는 설계 방식이 검증되어, 프로덕션 LLM 파이프라인 최적화에 직접 영향을 미친다.
핵심 요약
도구 선택 같은 폐쇄형 결정 작업을 위해 얼마나 작은 인코더를 쓸 수 있는지, 그리고 선택지를 함께 읽을지 개별로 읽을지를 비교하는 연구다. 3개 시드로 3천2백만 파라미터에서 실험한 결과 선택지별 채점(per-option scoring) 방식이 37개 벤치마크 병합 테스트에서 공동 채점(joint scoring) 방식을 보정 후 5.8점 능력 차이로 이기고, 유사한 훈련량 조건에서는 2.8점 앞선다. 외부 벤치마크 2개도 이 경향을 보였으나 미학습 작업에서는 통계적 유의성이 없다. 전체 요약 8문장 읽기 → 002 06:11 새 버전 Hugging Face Transformers v5.21 릴리스, 5개 신규 모델 추가 Transformers 라이브러리가 v5.21.0을 릴리스했으며, 문서 인식부터 음성 합성까지 5개 모델을 새로 지원한다. AI · 머신러닝 · huggingface/transformers@v5.21
Key Point 문서 이해, 음성 합성 등 신규 모델 5개가 추가되고 병렬 처리·양자화·캐시 처리가 크게 개선되어 LLM과 멀티모달 모델 개발자들에게 직접적인 영향이 있다.
핵심 요약
Transformers 라이브러리가 v5.21.0을 릴리스했으며, 문서 인식부터 음성 합성까지 5개 모델을 새로 지원한다. MiniCPM-OCR은 OpenBMB의 모델로 SigLIP 비전 인코더와 Qwen3.5 언어 모델을 결합해 스캔 페이지, 스크린샷, 영수증 등 텍스트 밀집 이미지를 읽는다. Flint는 Recursive의 혼합 전문가 모델로 슬라이딩 윈도우 주의(512개 토큰 범위)와 완전 주의를 결합하며, 각 희소 계층이 256개 전문가 중 6개를 라우팅한다. 전체 요약 12문장 읽기 → 003 18:11 ▲ 102 · 댓글 37 셀프-어텐션 없이 언어모델 성능 낼 수 있을까 논문은 시퀀스 모델링에서 셀프-어텐션이 반드시 필요한지 근본적으로 재검토한다. AI · 머신러닝 · Attention Is Not What You Need (2025)
Key Point 트랜스포머 아키텍처의 핵심인 어텐션 메커니즘 자체를 대체하는 기하학적 모델을 제시하며, 같은 성능을 유지하면서 더 해석 가능한 설계가 가능함을 시사한다.
핵심 요약
논문은 시퀀스 모델링에서 셀프-어텐션이 반드시 필요한지 근본적으로 재검토한다. 기존 멀티헤드 어텐션을 숨은 벡터들을 고차원 공간으로 끌어올리는 텐서 lifting 메커니즘으로 해석하되, 이는 수학적으로 불명확하고 여러 층을 거치면서 명시적 불변량으로 기술하기 어렵다고 주장한다. 대안으로 그래스만 다양체 기반 구조를 제안하며, 인과 그래스만 층은 토큰 상태를 선형 축약한 뒤 플뤼커 좌표로 인코딩된 저차수 부분공간의 제어된 변형을 통해 정보를 전파한다. 전체 요약 6문장 읽기 → 004 21:11 ▲ 105 · 댓글 58 양자 물리학의 무대, 힐베르트 공간이란 무엇인가 양자역학의 기본 규칙은 관찰 전 양자 물체가 고정된 성질을 갖지 않으며, 대신 모든 가능한 미래의 조합인 양자 중첩 상태를 갖는다는 것이다. AI · 머신러닝 · In Hilbert space, all things are quantumly possible
Key Point 양자역학의 수학적 기초인 힐베르트 공간이 어떻게 탄생했고 어떻게 작동하는지 이해하면, 현대 양자 컴퓨팅과 우주론이 왜 그런 방식으로 문제를 푸는지 알 수 있다.
핵심 요약
양자역학의 기본 규칙은 관찰 전 양자 물체가 고정된 성질을 갖지 않으며, 대신 모든 가능한 미래의 조합인 양자 중첩 상태를 갖는다는 것이다. 물리학자 존 폰 노이만은 1927년 논문에서 이러한 가능성들을 추적하는 추상적 공간을 힐베르트 공간으로 정의했고, 이는 1925~1926년 개발된 하이젠베르크의 행렬역학과 슈뢰딩거의 파동역학이 본질적으로 같은 이론임을 증명했다. 양자 상태는 힐베르트 공간 내 벡터(화살표)로 표현되며, 이 벡터는 특정 축과의 정렬 정도에 따라 관찰될 확률을 나타낸다. 전체 요약 10문장 읽기 → 005 18:11 ▲ 25 · 댓글 2 LLM 활용해 3D 부품 조립 성능 대폭 향상 3D 부품 조립은 분해된 부품들에서 전체 형태를 복원하기 위해 각 부품의 rigid SE(3) 변환을 예측하는 과제다. AI · 머신러닝 · LLM2R: From Large Language Models to 3D Reassemblers
Key Point 대규모 부품을 가진 3D 조립 작업에서 기존 방식의 확장성 문제를 LLM 기반 접근으로 근본적으로 해결하고, 복잡한 기하학적 추론을 단일 forward pass로 처리할 수 있는 새로운 가능성을 제시한다.
핵심 요약
3D 부품 조립은 분해된 부품들에서 전체 형태를 복원하기 위해 각 부품의 rigid SE(3) 변환을 예측하는 과제다. 기존 방식은 부품 쌍의 관계에 의존하거나 반복 생성-검증을 사용해 많은 부품을 가진 물체에서 확장성이 떨어진다. LLM2R은 부품 조립을 sequence modeling 문제로 재정의하며 사전학습된 decoder-only LLM을 활용한다. 전체 요약 10문장 읽기 → 006 03:12 새 버전 트랜스포머 5.20.0: 메타 뮤즈 스파크 오픈 등 6개 신규 모델 지원 메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. AI · 머신러닝 · huggingface/transformers@v5.20.0
Key Point 메타·알렉스 알파·바이두 등 주요 기업의 첨단 멀티모달·OCR·오디오 모델 6개가 한 번에 지원되고, 분산 학습·추론·양자화 내보내기 등 프로덕션 기능이 대폭 개선되어 트랜스포머 사용자에게 즉시 영향을 미친다.
핵심 요약
메타의 멀티모달 혼합 전문가 모델 뮤즈 스파크 오픈(Muse Spark Open)을 추가했다. 총 816B 파라미터(토큰당 활성 42B)이며 최대 1,048,576 토큰의 맥락 창을 지원하고 다중 파일 편집·디버깅·도구 사용 등 에이전틱 코딩 작업을 위해 학습됐다. InclusionAI의 Ling 3.0 Flash는 5개 KDA 레이어와 1개 MLA 레이어를 결합한 혼합 전문가 모델로 BailingHybridForCausalLM으로 네이티브 지원되어 trust_remote_code=True 없이 로드된다. 알렉스 알파의 Kolibri 1은 독일어·영어 중심 추론 모델로, 50개 레이어가 384명의 전문가 중 6명에게 각 토큰을 시그모이드 라우팅으로 라우팅하고 슬라이딩 윈도우와 전체 어텐션 레이어를 번갈아 사용한다. 전체 요약 13문장 읽기 → 007 15:11 ▲ 52 · 댓글 1 BERT 인코더의 한계를 뛰어넘은 UltraBERT 최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다. AI · 머신러닝 · UltraBERT: Beyond the Limit of BERT Pre-Training
Key Point BERT 기반 인코더가 분류와 검색 작업을 함께 잘 처리하는 것이 불가능했던 문제를 처음으로 해결하며, 양방향 모델의 학습 방식과 마스킹 비율 설계에 대한 새로운 원칙을 제시한다.
핵심 요약
최근 인코더들은 대규모 언어모델(LLM)의 혁신을 도입했지만 사전학습 방식은 과거 소규모 관례를 그대로 유지해 최적화가 부족했고, 분류와 검색 작업 모두에서 경쟁력을 갖춘 단일 모델이 없는 상태였다. 연구진은 학습 설계의 핵심 선택지들을 재검토해 세 가지 주요 발견을 얻었다: (1) 인코더는 수조 개 토큰 이상에서 다운스트림 작업의 성능이 포화되어 추가 계산이 도움이 안 됨, (2) 낮은 마스킹 비율은 분류에 유리하고 높은 비율은 검색에 유리하며 이는 모델 크기와 무관하게 적용됨, (3) 증류와 프루닝은 낮은 마스킹 비율에서는 분류를 개선하지만 높은 비율에서는 검색을 악화시킴. 이 발견들을 바탕으로 UltraBERT는 배치 내에서 낮은 비율과 높은 비율의 마스킹에 각각 별도의 언어모델 헤드를 할당하고 증류 목표를 낮은 비율로만 제한하는 설계를 적용했다. 전체 요약 4문장 읽기 → 008 18:33 ▲ 156 · 댓글 65 캐나다 VPN업체 Psiphon, 감시법 통과 시 캐나다 떠난다 토론토 소재 VPN 회사 Psiphon이 캐나다 정부의 법적 접근 법안(Bill C-22) 통과 시 캐나다를 떠날 계획을 밝혔다. 보안 · Toronto-Based VPN Provider Plans to Quit Canada over Lawful-Access Bill
Key Point 프라이버시 기술 기업이 국가의 감시 의무화 법안에 대항하는 구체적 행동을 선언한 만큼, 암호화와 온라인 자유 진영의 법적 투쟁과 기술 기업의 대응 방식을 보여주는 사례로 주목할 만합니다.
핵심 요약
토론토 소재 VPN 회사 Psiphon이 캐나다 정부의 법적 접근 법안(Bill C-22) 통과 시 캐나다를 떠날 계획을 밝혔다. Psiphon은 Citizen Lab에서 스핀아웃한 회사로, 이란, 미얀마, 러시아, 중국 등 억압적 정권 국가의 2천만 월간 사용자가 온라인 검열 우회에 사용한다. Bill C-22가 통과하면 전자 서비스 제공업체는 경찰과 캐나다정보보안부(CSIS)에 감시·모니터링 기능을 제공하기 위해 비밀리에 시스템을 수정해야 한다. 전체 요약 5문장 읽기 → 009 09:11 ▲ 11 · 댓글 2 생의학 문장 인코더를 선택 결정 모델로 변환하는 방법 검색 학습으로 훈련된 생의학 문장 인코더를 스키마 제약이 있는 예/아니오 질문에 답하는 타입 결정 모델로 변환하는 SBERT2S1을 제시했다. AI · 머신러닝 · From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders
Key Point 생의학 자연언어 이해 작업에서 검색 학습의 효과가 모델 구조에 따라 크게 달라진다는 점과 기존 강화학습 방식의 구체적인 한계를 정량적으로 규명했다.
핵심 요약
검색 학습으로 훈련된 생의학 문장 인코더를 스키마 제약이 있는 예/아니오 질문에 답하는 타입 결정 모델로 변환하는 SBERT2S1을 제시했다. 6개의 모델 쌍에서 제로샷 테스트 결과, 검색 학습이 있으면 내용 있는 선택지 매칭이 개선되는 것을 확인했다. 미세조정 후 효과는 모델 구조에 따라 달라졌는데, 검색 사전 정보를 유지하는 PFR 구조는 5개 모델 쌍과 3개 훈련 크기에서 15번 중 10번 개선되었으나, 교차 주의 구조(C)는 5번 악화되고 1번만 개선됐다. 전체 요약 7문장 읽기 → 010 00:11 ▲ 132 · 댓글 47 LLM 판단 vs 결정 모델, 벤치마크 결과는 기존 방식이 우위 TypeSafe AI의 Jev 같은 결정 모델(decision model)은 고정된 스키마의 '결정'을 출력하는 새로운 AI 안전장치 기법으로, 자유형 텍스트 생성 방식보다 빠르고 저렴하며 학습 데이터 없이도 새로운 문제에 적용할 수 있다. AI · 머신러닝 · Decision models like Jev don't beat LLM-as-a-judge or traditional classifiers
Key Point 신흥 기술로 주목받는 결정 모델이 실제로는 기존의 소형 분류기와 LLM 판단 방식과의 경쟁에서 우월하지 못하다는 벤치마크 결과로, AI 안전장치 선택 시 실용성을 강조하는 실증 데이터를 제공한다.
핵심 요약
TypeSafe AI의 Jev 같은 결정 모델(decision model)은 고정된 스키마의 '결정'을 출력하는 새로운 AI 안전장치 기법으로, 자유형 텍스트 생성 방식보다 빠르고 저렴하며 학습 데이터 없이도 새로운 문제에 적용할 수 있다. Red Hat 연구팀은 프롬프트 주입과 콘텐츠 안전성 두 가지 벤치마크에서 9개 안전장치를 비교 평가했다: CPU 규모 사전학습 분류기, BART-large-mnli, Shieldstral, Nemotron-3.5, Qwen3.6-35B, Laya, DiffusionGemma, Jev. 프롬프트 주입 탐지에서 Qwen3.6-35B(LLM-as-a-judge)이 89.31% 정확도로 1위, DiffusionGemma 87.72% 2위, Jev는 86.35%로 4위를 기록했다. 전체 요약 10문장 읽기 → 011 03:11 새 버전 Transformers 5.18.0 출시, Nemotron·NemotronH Omni 등 신모델 추가 Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. AI · 머신러닝 · huggingface/transformers@v5.18.0
Key Point Transformers는 파이토치의 표준 NLP 라이브러리이며, 이 버전은 실시간 음성 처리, 멀티모달 추론, 분산 학습 최적화 등 프로덕션 환경의 여러 문제를 해결한다.
핵심 요약
Nemotron 3 Diarization 오픈웨이트 모델이 추가되어 실시간 음성 화자 분리를 지원하며, 최대 8명의 화자를 처리할 수 있고 80ms부터 30.4s까지 구성 가능한 지연 시간 프로필을 제공한다. NemotronH Omni 멀티모달 추론 모델은 Mamba-Transformer 언어 모델에 RADIO 비전 인코더와 Parakeet 사운드 인코더를 결합하여 텍스트, 이미지, 비디오, 음성을 동시에 처리한다. HyperCLOVAX Vision V2는 NAVER가 개발한 멀티모달 모델로 Qwen2.5-VL 비전 인코더를 탑재하고 체인오브싱크 추론을 위한 thinking 토큰을 지원한다. 전체 요약 8문장 읽기 → 012 18:11 ▲ 107 · 댓글 4 텍스트 분류의 진화, Bag-of-Words부터 Jev까지 텍스트 분류 기술의 역사를 Bag-of-Words부터 최근 Jev AI까지 추적하는 기술 가이드로, 각 방식의 작동 원리와 성능을 비교한다. AI · 머신러닝 · Language models for text classification: From bag-of-words to Jev
Key Point 15년 전 Bag-of-Words로 시작된 텍스트 분류 기술이 어떻게 현재의 범용 분류 모델 Jev로 진화했는지, 각 방식의 트레이드오프를 이해하면 분류 작업에 적절한 도구를 선택할 수 있다.
핵심 요약
텍스트 분류 기술의 역사를 Bag-of-Words부터 최근 Jev AI까지 추적하는 기술 가이드로, 각 방식의 작동 원리와 성능을 비교한다. Bag-of-Words는 다양한 길이의 텍스트를 고정 크기 벡터로 변환해 Naive Bayes·로지스틱 회귀·SVM 등 고전 분류기를 적용할 수 있게 한다. 계산이 저렴하고 결과가 좋지만 단어 순서 정보를 잃는 단점이 있다. RNN은 단어를 순차적으로 처리하며 이전 단계의 숨겨진 상태를 누적하므로 단어 순서가 중요해진다. LSTM·GRU 같은 개선 방식이 있으며, ULMFiT 방식으로 전이학습을 적용하면 IMDb 영화평 분류에서 95.4% 정확도를 달성했다. 전체 요약 11문장 읽기 → 013 00:11 ▲ 128 · 댓글 64 Neural Amp Modeler 돌리는 오픈소스 기타 이펙터 페달 Waveshare ESP32-S3-Touch-AMOLED-2.06 보드 위에 구축한 스탠드얼론 기타 앰프이자 이펙터 페달 CoyoPedal을 공개했다. 하드웨어 · 시스템 · Guitar amp and effects pedal built on the Waveshare ESP32-S3-Touch-AMOLED-2.06
Key Point ESP32 임베디드 기기에서 Neural Amp Modeler 같은 복잡한 ML 모델을 실시간 처리하고 웹에서도 재현하는 기술 구현이 핵심인데, 풀스택 오픈소스 프로젝트의 완성도와 확장 가능성을 보여주는 사례다.
핵심 요약
Waveshare ESP32-S3-Touch-AMOLED-2.06 보드 위에 구축한 스탠드얼론 기타 앰프이자 이펙터 페달 CoyoPedal을 공개했다. ESP32-S3에서 Neural Amp Modeler A2 캡처를 실시간 처리하고, USB 호스트로 클래스 준수 오디오 인터페이스를 구동하며, TSX로 작성하고 C++로 컴파일한 터치스크린 UI를 갖춘다. 동일 펌웨어가 화면이 없는 bare ESP32-S3에서도 구동되며, BOOT 버튼이 풋스위치로 작동한다. 전체 요약 15문장 읽기 → 014 00:11 ▲ 100 · 댓글 37 생명, 양자가 아닌 '양자같은 수학'으로 작동한다 과학자들은 수십 년간 생명과 양자역학을 연결하려 시도했지만 실패해왔고, 새로운 관점은 수학적 동등성에 있을 수 있다. AI · 머신러닝 · Biology might not be quantum, but its math is quantumlike
Key Point 실제 양자 효과 없이 '양자같은' 수학이 고전적 생물 시스템에서 나타날 수 있다는 발견은 양자생물학의 근본적 가정을 재평가하게 하며, 신경망·광합성 등 생명 현상의 효율성을 새롭게 이해할 길을 열었다.
핵심 요약
과학자들은 수십 년간 생명과 양자역학을 연결하려 시도했지만 실패해왔고, 새로운 관점은 수학적 동등성에 있을 수 있다. 광합성에서 거의 100% 효율로 광자를 화학에너지로 변환하는 현상을 설명하기 위해 2007년 양자 결맞음(coherence) 효과가 제안되었지만, 재검토 결과 이는 분자 결합의 공명이었지 장기적 양자 결맞음이 아니었다. 프린스턴 대학의 화학자 그레고리 숄스는 생물학이 실제 양자 효과를 활용하는 것이 아니라 모방할 가능성을 제시했다. 전체 요약 11문장 읽기 → 015 00:10 ▲ 354 · 댓글 72 System 1 의사결정 모델 Laya 오픈소스 공개 LLM 기반 구조화된 의사결정 모델 Jev의 폐쇄성에 대응해, 같은 개념을 완전 오픈소스로 구현한 Laya를 공개했다. AI · 머신러닝 · Laya the open source version of Jev
Key Point LLM으로 단순 분류 작업을 처리하는 비효율을 해결하는 새로운 모델 아키텍처가 공개됐으며, Jev의 폐쇄성 대비 완전 오픈소스 대안이 필요한 상황이다.
핵심 요약
LLM 기반 구조화된 의사결정 모델 Jev의 폐쇄성에 대응해, 같은 개념을 완전 오픈소스로 구현한 Laya를 공개했다. 자동회귀 생성 방식 대신 순방향 한 번의 추론으로 확률분포를 반환하며, 30~35ms의 초저지연 응답을 제공한다. choice(선택지 선택), score(순서척도), noul(참거짓 판정) 세 가지 기본 연산만으로 동작하여 환각이나 JSON 파싱 오류가 불가능하다. 전체 요약 6문장 읽기 → 016 06:10 ▲ 124 · 댓글 55 스톨만, 테러 대응 보안 강화가 시민 자유 침해할 수 있다고 경고 리처드 스톨만은 9.11 테러 직후 미국 정부가 추진하는 감시 정책이 시민의 자유를 더 큰 위협에 빠뜨릴 수 있다고 지적했다. 보안 · Stallman: Thousands Dead, Millions Deprived of Liberties (2001)
Key Point 테러 대응이라는 명목 하에 추진되는 광범위한 감시 체계가 시민의 기본권을 침해하는 구조와 그 위험성을 구체적으로 제시했으며, 이는 현대 민주주의 사회의 보안과 자유의 균형에 대한 근본적 질문을 던진다.
핵심 요약
리처드 스톨만은 9.11 테러 직후 미국 정부가 추진하는 감시 정책이 시민의 자유를 더 큰 위협에 빠뜨릴 수 있다고 지적했다. 얼굴 인식 소프트웨어 광범위 배포와 암호화 소프트웨어 백도어 강제 등의 방안이 제안되고 있으나, 이들은 테러 방지 효과가 불명확하면서도 감시를 확대하려는 정부 기관의 목표를 달성할 수 있다고 우려했다. 공항 수하물 검사 같은 제한적이고 기록을 남기지 않는 조치는 문제없으나, 전화·이메일·신체 이동에 대한 대규모 감시는 시민 자유를 본질적으로 훼손한다고 밝혔다. 전체 요약 5문장 읽기 → 017 08:12 당일 +785 AI 에이전트에 '게으른 선임 개발자' 스킬 심는 Ponytail 클로드 코드 에이전트를 위한 프롬프트 스킬로, 불필요한 코드 작성을 줄이도록 유도한다. AI · 머신러닝 · DietrichGebert/ponytail · JavaScript
Key Point AI 에이전트의 과도한 코드 생성은 비용과 속도를 악화시키는데, 이 스킬이 실제 업무에서 구체적인 개선율을 입증했기 때문에 도입 가치가 있다.
핵심 요약
클로드 코드 에이전트를 위한 프롬프트 스킬로, 불필요한 코드 작성을 줄이도록 유도한다. 실제 FastAPI + React 풀스택 프로젝트에서 테스트한 결과 코드량 54% 감소, 토큰 22% 감소, 비용 20% 절감, 실행 시간 27% 단축을 달성했다. 검증·에러 처리·보안·접근성은 절대 줄이지 않으면서 필요한 것만 작성하는 방식으로 작동한다. 전체 요약 5문장 읽기 → 
