생명과학 LLM이 실제로 생물학 데이터를 활용하지 않는다

핵심 요약

• DNA, 단백질, 단일세포 작업을 다루는 6개의 생명과학 추론 모델을 검증한 결과, 벤치마크 성능이 높아도 실제로는 생물학적 입력을 거의 활용하지 않는 것으로 나타났다.
• BioReason과 BioReason-Pro의 경우 Evo2와 ESM3 같은 생물학 기초 모델의 기여도가 미미했으며, DNA 서열을 무작위로 섞어도 질병 예측 정확도가 거의 변하지 않았다.
• 두 모델이 텍스트 정보가 아닌 생물학적 입력에 충돌이 있을 때 텍스트를 따르는 비율이 97.9%와 99.7%에 달했다.
• 선형 프로브 분석으로 Evo2와 ESM3 표현들이 작업 목표와 관련 정보를 담고 있음을 확인했으나, 최종 성능 개선에는 큰 영향을 미치지 못했다.
• ChatNT, Prot2Text-V2, CellWhisperer와 Cell2Sentence-Scale 모델들은 생물학적 입력이 성능에 기여하는 패턴을 보였다.
• BioReason-Pro의 미세조정과 강화학습 체크포인트 및 42개의 BioReason 체크포인트를 분석한 결과, 정확도 향상이 생물학적 입력의 더 큰 기여를 의미하지 않았다.
• BioReason의 추론 흔적에서는 뉴클레오타이드 변화를 잘못 설명했고, BioReason-Pro는 충돌 상황에서 최종 예측에서 생략한 기능들을 설명했다.
• 현재의 사후학습 전략은 기초 모델 표현이 작업 성능에 실제로 기여하도록 보장하지 못한다는 것이 결론이다.