생명과학 LLM이 실제로 생물학 데이터를 활용하지 않는다
Key Point
생명과학 분야의 AI 모델들이 높은 벤치마크 성능을 보이고 있지만, 실제로는 생물학적 데이터를 무시하고 텍스트 정보에만 의존하는 것으로 밝혀져 이들 모델의 신뢰성과 해석 가능성에 근본적인 의문을 제기한다.
핵심 요약
- DNA, 단백질, 단일세포 작업을 다루는 6개의 생명과학 추론 모델을 검증한 결과, 벤치마크 성능이 높아도 실제로는 생물학적 입력을 거의 활용하지 않는 것으로 나타났다.
- BioReason과 BioReason-Pro의 경우 Evo2와 ESM3 같은 생물학 기초 모델의 기여도가 미미했으며, DNA 서열을 무작위로 섞어도 질병 예측 정확도가 거의 변하지 않았다.
- 두 모델이 텍스트 정보가 아닌 생물학적 입력에 충돌이 있을 때 텍스트를 따르는 비율이 97.9%와 99.7%에 달했다.