AI가 모든 과제를 풀자, 교수들의 평가 방식이 바뀐다

핵심 요약

• 2021년 GPT-3가 읽기 퀴즈를 정답 논문을 보지 않고도 통과시킨 뒤, 5년 후 AI 에이전트가 모든 과제를 자동으로 완수하게 되자 카네기멜론대 교수 Christian Kästner는 대부분의 평가 방식을 재설계했다.
• 학습 목표는 거의 변하지 않았지만(ML 엔지니어링 트레이드오프, 위험 완화, 팀워크), 과제는 집에서 하는 것 대신 TA와의 대면 상호작용과 시험으로 옮겼다.
• 학생들에게 모든 상황에서 AI 사용을 허용하지만(시험 제외), 증거 기반 교육법을 일부 포기하고 있다: 숙제 같은 저위험 평가로 자주 피드백하는 방식에서 벗어나 고위험 시험으로 이동 중이다.
• 쓰기 반성 과제를 없애고 대신 학생들이 매 과제 후 TA와 15분간 대면 인터뷰를 가지도록 했으며, 과제 점수의 20%를 이 체크인에 배정했다.
• 읽기 퀴즈는 폐지했지만 강의에 포함된 내용을 토론에 통합하고, 주당 작은 랩 과제도 코드 완성 후 TA 질문 답변을 pass/fail로 평가하는 방식으로 변경했다.
• 팀 프로젝트에서는 각 마일스톤마다 30~60분 디브리핑 세션을 열고, 임의의 팀원이 구현의 모든 부분을 설명할 수 있으면 보너스 점수를 준다.
• 과제 분량을 대폭 늘렸다: 작은 Instagram 클론 확장 과제를 500k LOC 규모의 Zulip 팀 채팅 앱에 기능을 추가하는 과제로 변경해 AI 에이전트가 상호작용 없이 풀 수 없게 만들었다.
• 시험 비중을 15%에서 25%로 올렸고, LLM 기반 자동 채점 시스템을 도입해 TAs의 채점 시간을 50~80% 단축시켰으며, Slack 봇으로 강의 중 토론 피드백도 자동화했다.
• 학생들이 AI의 자신감 있는 오답으로부터 배우도록 의도적으로 설계하려 했지만, 실제로는 우연히 발견한 경우들이 있다: ChatGPT가 Jackson의 World vs Machine 구분에서 80% 학생이 틀렸고, Claude Code의 부실한 에이전트 보안 솔루션에 80% 학생이 속았다.
• 학생 동향을 측정할 객관적 증거는 없지만, 많은 학생들이 새로운 형식과 대면 상호작용을 긍정적으로 받아들이고 있으며, 팀 내에서 AI 사용을 둘러싼 갈등과 자체 감시가 발생하고 있다.
• 학생들이 구독료를 내야 한다는 형평성 문제를 인정하지만, 월 $20은 교과서 비용($100) 보다 저렴하며, 대학이 장학금을 통해 접근성을 보장해야 한다고 주장한다.
• 모델이 개선되면서 과제 난이도가 높아져도 결국 AI가 풀 수 있게 되므로, 각 학기마다 어떤 평가 전략이 통하는지 재검토해야 하는 악순환에 처했다고 밝혔다.