클로드 소네트5가 만든 치의학 시험문제, 교수 출제보다 쉽고 오답 설계는 부실

미국 연구에서 앤스로픽 클로드가 만든 치의학 객관식 문제가 교수 출제보다 난이도 낮고 오답 변별력도 떨어진 것으로 나타났다.

Thu Aug 20 2026

미국 치과대학 인턴 100명을 대상으로 한 연구에서, 앤스로픽의 대규모언어모델(LLM) 클로드 소네트5가 만든 객관식 시험문제가 사람 교수가 출제한 문제보다 난이도는 낮고 오답 선택지의 변별 기능은 떨어지는 것으로 나타났다. 국제학술지 Cureus에 게재된 이번 연구는 생성형 AI가 고난도 전문 시험 문항을 자동으로 만들어낼 수 있을지 가늠한 사례로 주목된다.

실험 설계

연구진은 근관치료학(엔도돈틱스) 10개 핵심 영역에서 교수가 출제한 30문항과 클로드 소네트5가 표준화된 단일 프롬프트로 생성한 30문항, 총 60문항을 만들어 치과 인턴 100명에게 60분간 무작위 순서로 풀게 했다. 문항의 질은 고전검사이론에 따라 난이도지수, 변별지수, 오답 선택지 기능성, 내적 신뢰도(크론바흐 알파) 등으로 측정했다.

결과: AI 문제, 쉽고 오답 설계 부실

교수 출제 문항군의 신뢰도는 0.851로 '양호' 수준이었고, AI 문항군은 0.798로 '수용 가능' 수준에 그쳤다. 변별력도 교수 문항이 통계적으로 유의하게 높았고(p=0.00747), 90%가 적정 난이도 범위에 들었다. 반면 AI 문항은 43.3%가 '쉬움'으로 분류돼 유의하게 쉬웠고(p=0.000918), 16.7%는 오답 선택지 전부가 변별 기능을 못하는 '전면 비기능 오답' 문제였다. 모든 이상적 심리측정 기준을 동시에 충족한 문항 비율도 교수 출제(10%)가 AI(3.3%)보다 세 배 가까이 높았다.

AI 단독 출제는 아직 시기상조

연구진은 최신 LLM이 사람이 쓴 것과 구별하기 어려운 임상 사례 지문을 만들어낼 수 있지만, 가공하지 않은 원문은 오답 선택지의 그럴듯함과 문항 변별력에서 한계가 뚜렷하다고 결론지었다. 고부담 시험에 AI를 그대로 쓰는 것은 아직 무리이며, AI가 초안을 빠르게 만들고 교수가 오답 선택지를 다듬는 '휴먼인더루프' 방식이 교육 현장의 행정 부담을 줄이면서 타당도를 지킬 대안으로 제시됐다.

*출처: Cureus (2026-08-20)*

Tags: #AI #클로드 #교육 #치의학 #LLM