Hugging Face 논문AI · 머신러닝

AI 과학 논문 시스템, 근거 왜곡 문제 감지

원제 From Tool State to Scientific Action: Auditing Decision Provenance in Biomedical Research Agents

추천 11댓글 6Xingyu Yi, Xinya Zhang, Yunshen Zhou 외
Key Point

AI 기반 과학 연구 시스템이 같은 결론 뒤에 서로 다른 근거를 숨기는 위험을 처음 체계적으로 감지하는 방법을 제시하며, 이는 바이오 신약 개발과 같은 실제 응용에서 의사결정 신뢰성을 검증하는 데 필수적이다.

핵심 요약

  • 생의학 연구에 쓰이는 AI 에이전트가 같은 결론을 내면서도 다른 근거를 인용하는 문제를 다룬 감사 프레임워크이다.
  • BioAgent-DF 는 과학 계산 과정에서 저장된 참조값과 후보값의 쌍을 비교해 복원 또는 이식한 후 에이전트를 재실행한다.
  • Qwen 3.5-4B 는 8개 SciFact 배치 중 3개 조합에서 반복적 인용 변화를, Gemma 3 4B IT 는 4개 조합에서 읽음과 인용 변화를 보였다.
  • 전체 복원 시 참조 근거 집합은 회복되었으나 최종 결론은 유지되었고, 기본 프롬프트 하의 결론 변화는 명시적 예시 프롬프트에서 재현되지 않았다.
  • 심장 독성 assay 할당 실험에서 조용한 수치 오류가 검사 결정을 바꿨으나 예산 제약 하의 단축 목록은 차단제로 표시된 화합물 수를 유지했다.
  • 결함 값 사용 후 이전 실행 상태 복원과 검증 점수 제공으로 변경된 39개 결정 모두 회복되었으며, 예측 파일 교체만으로는 회복되지 않았다.
  • 산술 검증의 스트리밍 구현은 FP64 구현 대비 전방 실행과 검증 총 시간을 42.4% 단축했고 동일한 플래그와 복원 결과를 얻었다.
AI 요약 안내

AI가 한국어로 정리한 내용입니다. 정확한 정보는 원문을 확인해 주세요.

요약 원칙 ↗