쌓인 기록에서 찾기
무엇을 찾으세요? 날짜를 몰라도 됩니다. 제목·Key Point·요약·태그를 한꺼번에 뒤집니다.
검색 범위 2026년 8월 13일 (목) 부터 2026년 10월 30일 (금)까지 3636건
14건 · "스크래핑"조건 지우기 ×
001 00:11 ▲ 104 · 댓글 69 Tmux로 AI 에이전트를 운영하는 법 Tmux는 AI 코딩 에이전트를 독립된 세션에서 실행하며, 터미널을 닫아도 프로세스는 계속 동작하고 재접속 시 그대로 복구된다. 인프라 · 데브옵스 · Tmux and Claude Code: Sessions, Send-Keys, and the Ceiling
Key Point 여러 AI 에이전트를 동시에 실행할 때 각 에이전트의 상태 추적, 입력 관리, 기록 보존을 어떻게 구현할지 실무 예제와 한계가 명확히 제시되므로, AI 에이전트 운영 인프라를 구축하는 개발자에게 필수 참고자료다.
핵심 요약
Tmux는 AI 코딩 에이전트를 독립된 세션에서 실행하며, 터미널을 닫아도 프로세스는 계속 동작하고 재접속 시 그대로 복구된다. Claude Code의 최신 버전은 --worktree --tmux 플래그로 자동 설정을 지원하지만, 여러 에이전트 관리, 스크립팅, 원격 실행은 수동으로 구성해야 한다. 세션은 프로젝트 단위로 명명하고, 각 작업마다 윈도우를 만들며, send-keys로 스크립트에서 에이전트에 입력할 수 있다. 전체 요약 9문장 읽기 → 002 03:11 ▲ 116 · 댓글 103 웹사이트들 AI 에이전트 차단에 나서다 OpenAI, Meta, Google 등 거대 기업들이 개발 중인 자동화 AI 에이전트는 사용자 대신 웹을 돌아다니며 예약, 쇼핑, 이메일 정리 등 모든 작업을 수행하겠다고 약속하고 있다. AI · 머신러닝 · Websites are closing their doors to AI agents
Key Point AI 에이전트의 대대적 도입을 추진하는 거대 기업들과 이를 막으려는 웹서비스 간의 충돌이 심화되면서, 에이전트가 실제로 약속한 '무엇이든 할 수 있는' 역할을 하지 못할 가능성이 현실화되고 있다.
핵심 요약
OpenAI, Meta, Google 등 거대 기업들이 개발 중인 자동화 AI 에이전트는 사용자 대신 웹을 돌아다니며 예약, 쇼핑, 이메일 정리 등 모든 작업을 수행하겠다고 약속하고 있다. 하지만 Yelp, Delta Air Lines, JPMorgan Chase, Charles Schwab 등 주요 웹서비스들은 최근 AI 에이전트의 접근을 차단하기 시작했고, 이전에 정상 작동하던 Cars.com, Amtrak 같은 사이트도 조용히 차단하고 있는 것으로 보인다. Yelp는 데이터 라이선싱 프로그램 가입 기업만 AI 에이전트 접근을 허락하고, Delta는 사용자 대신 항공권 예매하는 것을 금지했으며, JPMorgan Chase와 Charles Schwab은 보안 우려를 이유로 계정 접근을 차단하고 있다. 전체 요약 10문장 읽기 → 003 21:11 당일 +233 AI 에이전트가 웹 데이터를 자유롭게 수집하는 Apify MCP 서버 Apify MCP 서버는 Claude, VS Code 등 AI 에이전트가 Apify Store의 8,000개 이상 스크래퍼·크롤러·자동화 도구를 MCP 프로토콜로 직접 사용하도록 연결한다. AI · 머신러닝 · apify/apify-mcp-server · TypeScript
Key Point AI 에이전트가 별도 도구 개발 없이 Apify 생태계의 수천 개 스크래퍼를 MCP 표준으로 직접 활용할 수 있게 되어, 데이터 추출 작업의 진입장벽이 크게 낮아졌다.
핵심 요약
Apify MCP 서버는 Claude, VS Code 등 AI 에이전트가 Apify Store의 8,000개 이상 스크래퍼·크롤러·자동화 도구를 MCP 프로토콜로 직접 사용하도록 연결한다. 소셜미디어, 검색엔진, 지도, 이커머스 등 모든 웹사이트에서 데이터를 추출할 수 있으며, OAuth를 지원해 Claude.ai나 VS Code에서 URL만으로 연결 가능하다. 호스팅 서버(mcp.apify.com)는 Streamable HTTP 전송을 사용하며 레거시 SSE 엔드포인트는 제거됐다. 전체 요약 12문장 읽기 → 004 21:11 ▲ 103 · 댓글 20 웹 스크래핑, 법적으로 "명확하지 않은" 이유 인터넷 법 전문가 에릭 골드만이 Reddit AMA에서 웹 스크래핑의 법적 지위에 대해 설명했다. 보안 · My Reddit AMA on the Law of Web Scraping
Key Point 스크래핑은 현대 데이터 활용의 핵심이지만, 미국 법원도 명확한 기준을 제시하지 못하고 있으며, 개발자들이 사용할 수 있는 법적 해석 기준이 없는 상태다.
핵심 요약
인터넷 법 전문가 에릭 골드만이 Reddit AMA에서 웹 스크래핑의 법적 지위에 대해 설명했다. 스크래핑은 정책적으로 양면성을 갖는다. 검색엔진과 AI 학습, 가격 비교 봇 같은 사회적 편익을 만들지만, 서버 소유자의 자산 무단 사용이 될 수 있고 악성 공격처럼 보일 수도 있다. 골드만은 스크래핑의 법적 상태를 '매우 혼란스럽다'고 평가했으며, 자신의 인터넷 법 교재에서 최근 판례들(Intel v. Hamidi, Register.com v. Verio)을 삭제할 정도로 법이 급변하고 있다. 전체 요약 9문장 읽기 → 005 21:11 당일 +377 웹 데이터 수집 API 'Firecrawl', AI 에이전트용 스킬과 MCP로 확장 웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다. AI · 머신러닝 · firecrawl/firecrawl · TypeScript
Key Point 웹 데이터 수집 자동화가 AI 에이전트의 필수 요소인 만큼, 96% 웹 커버리지와 다양한 에이전트 통합 방식(Skill, MCP)이 개발 경험을 단순화하고 AI 데이터 파이프라인 구축 시간을 크게 단축할 수 있다.
핵심 요약
웹 검색, 스크래핑, 상호작용을 통합한 데이터 API로, 마크다운과 구조화된 JSON 형태로 AI 에이전트가 사용할 수 있는 형식으로 데이터를 제공한다. 96%의 웹 커버리지를 지원하며 JavaScript 렌더링이 필요한 페이지도 처리하고, P95 레이턴시는 3.4초로 실시간 에이전트 구동에 최적화했다. 검색, 스크래핑(마크다운/HTML/스크린샷/JSON), 상호작용(클릭·스크롤·입력·대기) 등의 핵심 엔드포인트와 Agent, Crawl, Map, Batch Scrape 등의 추가 기능을 제공한다. 전체 요약 9문장 읽기 → 006 21:11 당일 +212 3000개 API를 한 토큰으로 쓰는 에이전트 도구 레지스트리 OpenRouter처럼 에이전트가 단 하나의 토큰으로 60개 이상 제공자의 3000여 개 API에 접근할 수 있는 레지스트리를 오픈소스로 공개했다. 오픈소스 · 도구 · superdesigndev/treg · Python
Key Point 에이전트 개발자가 수십 개 외부 API의 구독료와 인증을 일일이 관리하지 않고도 필요한 도구를 호출할 수 있게 되며, 기존에 구독한 서비스는 본인의 키로 무료로 쓸 수 있다.
핵심 요약
OpenRouter처럼 에이전트가 단 하나의 토큰으로 60개 이상 제공자의 3000여 개 API에 접근할 수 있는 레지스트리를 오픈소스로 공개했다. SEO·백링크, 소셜 트렌드, 인물·회사 데이터 보강, 광고, 스크래핑, 이미지·영상 생성 등 다양한 카테고리의 엔드포인트를 지원하며 호출당 1센트부터 과금된다. 팀 자체의 API 키, 스킬, CLI도 등록할 수 있으며 팀원들의 에이전트가 서버에서 인증을 처리하므로 크레덴셜이 외부로 노출되지 않는다. 전체 요약 5문장 읽기 → 007 09:10 ▲ 107 · 댓글 32 마이크로소프트 임원 "AI 학습용 데이터 수집은 역사상 최대 규모 노동 착취" 뉴욕타임스가 OpenAI와 마이크로소프트를 상대로 2023년 말 제기한 저작권 침해 소송이 현재까지 진행 중이다. AI · 머신러닝 · Microsoft director: AI scraping 'the largest theft of labor in human history'
Key Point AI 회사 자신들조차 데이터 수집의 문제를 인정하는 내부 진술이 법정 문서를 통해 드러났으며, 이는 향후 AI 학습 데이터 수집의 법적·윤리적 기준을 결정할 소송의 핵심 증거가 될 수 있다.
핵심 요약
뉴욕타임스가 OpenAI와 마이크로소프트를 상대로 2023년 말 제기한 저작권 침해 소송이 현재까지 진행 중이다. 법정에 제출된 양사의 법적 진술서에서 AI 학습을 위한 데이터 스크래핑을 '역사상 최대 규모 노동 착취'라고 부르는 마이크로소프트 임원의 발언이 공개됐다. OpenAI 지도부도 같은 문서에서 ChatGPT를 출판 산업에 '실존적 위협'이라고 표현했다. 전체 요약 4문장 읽기 → 008 03:10 ▲ 182 · 댓글 198 OpenAI 봇, RubyGems 캐시 취약점 악용 시도 적발 OpenAI의 봇들이 RubyGems.org의 캐시 취약점을 알고 있었으며 이를 악용하려 시도한 것으로 드러났다. 보안 · OpenAI bots knew about the RubyGems caching vulnerability
Key Point Ruby 개발자들의 의존 라이브러리 플랫폼에서 대형 AI 회사의 악의적 공격이 적발되었으며, YARD 도구의 예상 밖 코드 실행 경로가 보안 위협으로 작용했다는 점에서 즉시 주목이 필요하다.
핵심 요약
OpenAI의 봇들이 RubyGems.org의 캐시 취약점을 알고 있었으며 이를 악용하려 시도한 것으로 드러났다. YARD 문서 도구를 악용해 RubyDoc.info 서버에서 임의 코드를 실행하는 방식을 사용했다. 5월의 '젬스터퍼 캐프템'에서 발견된 악성 젬들이 UK 정부 웹사이트를 스크래핑한 후 데이터를 재패키징해 RubyGems에 업로드하려 했다. 전체 요약 5문장 읽기 → 009 21:11 당일 +3,131 Claude Code로 자동화된 취업 지원 프레임워크 공개 Claude Code 기반으로 구직부터 면접 준비까지 자동화하는 오픈소스 프로젝트가 공개되었다. AI · 머신러닝 · MadsLorentzen/ai-job-search · Python
Key Point 개발자들이 반복적인 취업 지원 과정을 AI로 자동화할 수 있는 검증된 방법을 얻을 수 있고, 실제로 입사까지 성공한 사례를 통해 신뢰성을 확인할 수 있다.
핵심 요약
Claude Code 기반으로 구직부터 면접 준비까지 자동화하는 오픈소스 프로젝트가 공개되었다. 사용자가 포크해서 자신의 프로필을 입력하면, AI가 채용공고를 평가하고 맞춤형 이력서·자기소개서를 작성하며 면접을 준비해주는 구조다. 덴마크 채용 사이트들(Jobindex, Jobnet 등)에 최적화되어 있지만, 지역별 채용 포털로 확장 가능하도록 설계되었다. 전체 요약 5문장 읽기 → 010 14:20 ▲ 164 · 댓글 86 구글, 검색결과 직접 URL 숨기고 리다이렉트로 변경 구글 검색이 유기 결과의 직접 링크를 google.com/goto 리다이렉트로 변경했습니다. 웹 · 프론트엔드 · Google no longer provides direct URLs in search results
Key Point 검색 결과를 자동으로 수집하는 도구나 AI 크롤러를 운영한다면, 각 URL 획득 비용이 대폭 올라가고 구글의 요청 추적이 용이해져 접근 전략 전체를 바꿔야 할 상황입니다.
핵심 요약
구글 검색이 유기 결과의 직접 링크를 google.com/goto 리다이렉트로 변경했습니다. goto 링크의 url 파라미터는 구글 전용 인코딩을 사용해 오프라인에서 디코딩할 수 없습니다. 기존 google.com/url 형식과 달리 실제 URL은 Location 헤더에만 있어 각 결과마다 구글 서버 요청이 필요합니다. 전체 요약 5문장 읽기 → 011 21:11 당일 +241 웹 크롤링 프레임워크 Scrapling, 자동 구조 변화 감지 기능 탑재 Scrapling은 단일 요청부터 대규모 크롤링까지 처리하는 Python 기반 웹 스크래핑 프레임워크다. 오픈소스 · 도구 · D4Vinci/Scrapling · Python
Key Point 웹사이트 구조 변화에 자동으로 대응하고 안티봇 우회가 내장된 스크래핑 도구로, 데이터 수집 작업의 유지보수 부담을 크게 줄일 수 있다.
핵심 요약
Scrapling은 단일 요청부터 대규모 크롤링까지 처리하는 Python 기반 웹 스크래핑 프레임워크다. 파서가 웹사이트 변화를 학습하고 페이지 업데이트 시 요소를 자동으로 재위치한다. Cloudflare Turnstile을 포함한 안티봇 시스템을 기본적으로 우회할 수 있다. 전체 요약 5문장 읽기 → 012 21:11 당일 +110 초보자를 위한 30일 파이썬 학습 가이드 공개 30일 동안 단계별로 파이썬 기초부터 고급까지 학습하는 무료 강의 자료를 GitHub에 공개했다. 오픈소스 · 도구 · Asabeneh/30-Days-Of-Python · Python
Key Point 파이썬을 배우려는 초보자부터 전문가까지 체계적으로 학습할 수 있는 완전히 무료이고 오픈소스인 커리큘럼이 공개되었기 때문이다.
핵심 요약
30일 동안 단계별로 파이썬 기초부터 고급까지 학습하는 무료 강의 자료를 GitHub에 공개했다. 변수, 자료형, 함수, 클래스, 웹 스크래핑, API 구축 등 총 30개 주제를 다룬다. 초보자와 경험자 모두를 대상으로 하며 실제 예제와 연습 문제가 포함되어 있다. 전체 요약 5문장 읽기 → 013 08:12 당일 +451 AI 에이전트용 은폐 브라우저, Cloudflare 우회 가능 Firefox 기반 Camoufox를 REST API로 래핑한 헤드리스 브라우저 서버로, Puppeteer/Playwright의 drop-in 대체재이다. AI · 머신러닝 · jo-inc/camofox-browser · JavaScript
Key Point AI 에이전트가 웹 스크래핑 시 만나는 봇 탐지 우회를 C++ 레벨에서 근본적으로 해결하는 도구이며, 기존 스텔스 플러그인의 한계를 넘는 방식이다.
핵심 요약
Firefox 기반 Camoufox를 REST API로 래핑한 헤드리스 브라우저 서버로, Puppeteer/Playwright의 drop-in 대체재이다. C++ 레벨에서 하드웨어 동시성, WebGL 렌더러, AudioContext, 화면 기하학, WebRTC 등을 스푸핑하여 Google, Cloudflare, 봇 탐지 우회를 목표로 한다. 접근성 스냅샷(원본 HTML 대비 90% 더 작음), 안정적인 요소 참조(e1, e2, e3), 검색 매크로 등으로 토큰 효율성을 갖춘다. 전체 요약 6문장 읽기 → 014 08:12 ▲ 358 · 댓글 200 웹어셈블리로 보트 차단, 1년 개발한 Anubis AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다. 보안 · It took a year to ship WebAssembly in Anubis
Key Point 웹사이트 다운타임을 야기하는 AI 스크래핑 문제에 대한 기술적 대응 방식을 보여주며, 개별 사용자 경험과 대규모 악의적 접근을 구분하는 새로운 접근법을 제시합니다.
핵심 요약
AI 업체의 공격적인 웹 스크래핑으로부터 서버를 보호하기 위해 Anubis라는 도구를 개발했다. 해시캐시 방식의 작업증명(PoW) 챌린지를 사용해 개별 사용자에게는 무시할 수 있는 수준의 부하를 주지만, 대규모 스크래퍼에게는 비용을 크게 증가시킨다. 현재는 임시 해결책이며, 향후 헤드리스 브라우저를 탐지해 정상 사용자에게는 챌린지를 표시하지 않을 계획이다. 전체 요약 4문장 읽기 → 
