Hacker NewsAI · 머신러닝

AI QA 에이전트로 배포 전 버그를 자동 포착

원제 Launch HN: Momentic (YC W24) – Agents that catch bugs by using your app

113 포인트댓글 73
Key Point

코딩 에이전트 시대에 테스트 검증이 새로운 병목인데, 모가 QA 벤치마크에서 다른 에이전트들의 3배 이상 버그를 찾아내며 이 문제를 근본적으로 해결하고 있다.

핵심 요약

  • Momentic은 AI QA 엔지니어 '모'(Mo)로 앱의 엔드-투-엔드 테스트를 자동화하고 버그를 사전에 발견하는 서비스다.
  • 지금까지 77,813개의 테스트를 작성했고 7,060만 회 이상의 테스트를 실행해 117,010개의 버그를 포착했으며, PR 80,290개를 검증했다.
  • 사용자는 평문 영어로 테스트 시나리오를 작성하고 YAML 파일로 관리한 후, 로컬과 CI 파이프라인에서 실행할 수 있다.
  • 모는 UI 변경 시 테스트를 자동 복구하고, 실패 원인을 분류하며, 코딩 에이전트와 MCP를 통해 협력해 테스트를 작성하고 검증할 수 있다.
  • QA Bench 벤치마크에서 모는 60분 내 약 269개의 레이블된 버그를 찾아 다음 최고 성능 에이전트(약 86개)를 훨씬 앞질렀다.
  • PR 코멘트나 레이블로 트리거하면 모가 미리보기 배포를 테스트하고 발견 사항을 리뷰로 게시하며 커밋 체크를 설정한다.
  • 테스트 노력 수준을 낮음·중간·높음·최대로 선택 가능하며, PR 테스트는 약 15분, 전체 앱 테스트는 약 2시간 소요된다.
  • 자동 치유 기능이 8,932,104회 작동했으며, Notion·Coframe·GPTZero·Runway·Webflow 등 주요 팀들이 사용 중이다.
  • 최신 업데이트로 AI 액션 V3가 기본값이 되었고, iOS 베타 테스트, 모바일 MCP 서버, 네트워크 모킹, 로컬 런 뷰어 등이 추가되었다.
  • 지식 베이스에 제품 용어와 예상 동작을 저장하면 에이전트가 테스트 중 이를 참고하고, 자동 분류와 재시도로 테스트 유지보수를 단순화한다.
  • Quora의 Poe.com은 일일 테스트 실행을 7시간에서 30분으로 단축하고 500개 이상 수동 테스트를 대체했으며, 다른 팀들도 출시 주기를 최대 8배 단축했다.
  • SOC 2 Type 2 인증을 취득했고, 엔터프라이즈 고객을 위해 계약 기반 가동 시간 SLA, SSO·RBAC, 우선 지원을 제공한다.
  • 무료로 시작 가능하며, 프라이빗 앱 테스트와 전용 온보딩이 필요한 고객은 영업팀에 문의할 수 있다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗