진짜 AI 제품이라면: 현재 도구들이 빠뜨린 핵심 기능 7가지

핵심 요약

• 현재 AI 챗봇과 개발 도구는 자신의 한계를 인정하면서도 실제로는 그 한계를 보완할 도구를 제공하지 않아 진정한 생산성 도구로 기능하지 못한다.
• 모든 AI 제품이 오류를 생성할 수 있다고 명시하지만, 사용자가 검증할 수 있는 구조적 도구가 없다; 진지한 제품이라면 각 주장 옆에 검증 체크박스를 두고 2열 워크시트로 검토 기록을 남기도록 해야 한다.
• 인용 출처는 도메인 이름만 작은 글씨로 표시되고 중간에 끊기는 문제가 있다; 진지한 연구 도구라면 각 인용을 독립적 객체로 표시하고 출판일·작성자를 명시하며 원문 인용을 강조해야 한다.
• AI가 불필요하게 자신을 1인칭으로 표현하고 도움이 안 되는 사과를 반복하는 것은 시간 낭비다; 생산성 도구라면 정확하고 간결한 출력에만 집중해야 한다.
• 자연어 인터페이스는 불명확하고 반복적이므로, 대신 보안 스캔 같은 특정 작업별 UI를 구축하고 작은 전문 모델을 직접 훈련하는 게 낫다.
• 테이블 데이터의 출처(API 호출, 할루시네이션, 사용자 입력 등)가 구별되지 않는 문제가 있다; 진지한 제품이라면 데이터 검증 워크플로우에 스프레드시트 산술 검증 도구를 통합해야 한다.
• 온도(temperature) 설정이 사용자 인터페이스에서 숨겨져 있어 재현성을 제어할 수 없다; 작업별 UI로 설계했다면 프로세스 재실행 기능으로 신뢰성을 측정할 수 있게 해야 한다.
• 에이전트 워크플로우는 컨텍스트 크기의 심각한 제약을 받지만 사용자에게 컨텍스트 상태를 보여주지 않는다; 진지한 제품이라면 사용 가능한 컨텍스트와 압축의 영향을 표시하고 실험할 수 있게 해야 한다.
• AI 코딩 도구는 파일을 삭제하는 치명적 오류를 수년 반복했지만, 제공사는 컨테이너나 수동 안전장치를 권장할 뿐 기본 수준의 샌드박싱도 제공하지 않는다.
• 진지한 코딩 에이전트는 파일시스템 작업을 모두 샌드박싱하고, 모든 작업마다 저장소를 스냅샷하고, 자동 모드를 제거하고, 계획을 배치로 승인하도록 설계해야 한다.
• Amazon의 주문 손실 사건처럼 LLM 출력을 무심코 수용하면 심각한 문제가 생기므로, 조직은 AI 없이 하는 정기적 휴식 기간을 의무화하고 순환 교대근으로 주의력 감소를 방지해야 한다.
• AI에 의존하면 기술이 퇴화하므로, 항공업 같은 안전 직군처럼 의도적인 기술 연습과 학습 예산을 대폭 늘려야 한다.
• 직장에서의 AI 정신병, AI 뇌 피로 같은 정신 건강 위험에 대비해 조직은 정신 건강 자원을 확보해야 한다.