쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 11월 16일 (월)까지 4683건
3건 · "GROUP BY"조건 지우기 ×
001 00:11 ▲ 100 · 댓글 16 GROUP BY 쿼리, 슬롯 기반 필터링으로 70% 파티션 건너뛰다 Pivot 데이터베이스가 GROUP BY 쿼리 중 상위 K개 그룹만 필요한 경우를 최적화하는 신규 기법을 공개했다. 인프라 · 데브옵스 · Can GROUP BY still be optimized after all these years?
Key Point LIMIT이 있는 GROUP BY 쿼리는 데이터 분석 워크로드의 60% 이상을 차지하는데, 이 최적화로 동일한 결과를 70% 더 적은 연산으로 얻을 수 있다.
핵심 요약
Pivot 데이터베이스가 GROUP BY 쿼리 중 상위 K개 그룹만 필요한 경우를 최적화하는 신규 기법을 공개했다. 기존 GROUP BY는 모든 파티션을 집계한 후 병합하는데, 예를 들어 4,096개 파티션 중 상위 10개만 반환하는 경우 대부분의 파티션이 불필요한 작업을 한다. 초기 최적화는 각 파티션의 총합만 추적하는 방식이었으나, 100개 항목이 각각 15 주문씩인 경우와 1개 항목이 1,401 주문인 경우를 구분하지 못했다. 전체 요약 8문장 읽기 → 002 21:12 당일 +194 파이썬 데이터 분석의 표준, pandas 레포지토리 pandas는 파이썬의 강력한 데이터 분석·조작 라이브러리로, R의 data.frame과 유사한 라벨링된 데이터 구조를 제공합니다. 오픈소스 · 도구 · pandas-dev/pandas · Python
Key Point 데이터 과학과 분석 업무의 필수 도구인 pandas의 공식 저장소로, 최신 개발 동향을 추적하고 버그 리포트 및 기여에 참여할 수 있습니다.
핵심 요약
pandas는 파이썬의 강력한 데이터 분석·조작 라이브러리로, R의 data.frame과 유사한 라벨링된 데이터 구조를 제공합니다. 결측치(NaN, NA, NaT)를 유연하게 처리하고, DataFrame과 Series에서 동적으로 열을 삽입·삭제할 수 있습니다. 라벨 기반 자동 정렬, 강력한 group by 연산, 직관적인 데이터 병합·조인, 다양한 인덱싱과 슬라이싱을 지원합니다. 전체 요약 7문장 읽기 → 003 09:10 ▲ 105 · 댓글 34 메모리 지연이 CPU 병목인 이유 CPU가 100% 사용 중이어도 메모리 접근 때문에 유휴 상태에 빠질 수 있다. 현대 CPU는 나노초당 4~8개 명령을 처리하지만 RAM 접근은 50~100ns 걸려서 한 번의 메모리 접근마다 400~800개 명령을 처리할 수 있는 시간이 소비된다. 인프라 · 데브옵스 · It's the Memory Latency, Stupid
Key Point CPU 100% 사용률도 메모리 레이턴시로 절반 이상 정체될 수 있으며, 캐시 친화 알고리즘으로 성능을 3배 이상 개선할 수 있다는 것을 구체적 성능 측정으로 입증한다.
핵심 요약
CPU가 100% 사용 중이어도 메모리 접근 때문에 유휴 상태에 빠질 수 있다. 현대 CPU는 나노초당 4~8개 명령을 처리하지만 RAM 접근은 50~100ns 걸려서 한 번의 메모리 접근마다 400~800개 명령을 처리할 수 있는 시간이 소비된다. L1 캐시(1ns)는 RAM(50~100ns)보다 50~100배 빠르지만 용량이 약 64KB에 불과하고, L2·L3 캐시도 MB 단위로 제한되어 있다. 단순한 GROUP BY 구현에서 해시테이블이 매우 커지면 거의 모든 접근이 RAM 캐시 미스가 되어, 50.1%의 CPU 시간이 메모리 대기로 낭비되고 실제 연산은 16.1%에만 사용된다. 전체 요약 8문장 읽기 →