LLM이 가르치는 과학 생성 AI, 자연어로 약물 설계한다

핵심 요약

• 기초 LLM은 광범위한 화학·생물학 지식을 가진 반면, 흐름·확산 기반 생성 모델은 유효한 배열과 구조를 생산하는 데 필요한 선행 지식을 캡처하는데, 두 능력이 분리되어 있는 문제가 있다.
• 명시적 보상 함수 없이 자연어로 표현된 발견 목표에 과학 생성 모델을 정렬하는 방법을 연구했다.
• LLM-to-Flow Distillation(LFD)을 제안하며, 여기서 고정된 LLM이 도메인 특화 생성 모델의 적응형 교사 역할을 한다.
• 사용자가 '항암 활성을 가진 펩타이드 생성'과 같은 목표를 주면, 교사 LLM이 생성 모델의 현재 능력을 고려한 중간 부분 목표의 교육 과정을 구성하고 점진적으로 원래 목표로 진행시킨다.
• 각 라운드에서 LLM은 현재 목표 아래 샘플된 후보들을 판정하며, 이 판정이 선호도를 유도한다.
• 이러한 선호도는 DPO(Direct Preference Optimization)를 통해 생성 모델에 반복적으로 증류된다.
• 이 절차는 초기 모델이 최종 목표를 만족하는 설계에 무시할 수 있는 확률을 부여하더라도 밀집된 학습 신호를 제공하며, 분포 범위를 벗어난 영역으로의 적응을 가능하게 한다.
• 치료 펩타이드와 소분자 구조 설계 실험에서 LFD는 임의의 도메인 특화 과학 생성 모델을 자연어로 표현된 과학 발견 작업에 정렬하는 새로운 형태의 생성 제어를 가능하게 함을 보였다.