이용진 교수.
이용진 교수.

[헤럴드경제(용인)=박정규 기자]단국대(총장 안순철) 이용진 교수(의학과)가 서울대 김세중 교수, 박진용 연구원과 공동으로 의대생의 진료 실습에 활용할 AI(인공지능) 가상 환자의 답변을 체계적으로 검증하는 평가 체계를 개발했다.

연구팀의 논문은 ICML, ICLR과 함께 세계 3대 머신러닝 학술대회로 꼽히는 ‘NeurIPS 2026(Neural Information Processing Systems)’에 채택됐다. 연구 성과는 오는 12월 6일부터 13일까지 호주 시드니에서 열리는 학술대회 ‘데이터셋 및 벤치마크 트랙’에서 발표될 예정이다.

연구팀은 ▷GPT-4o ▷클로드 3.5 소네트(Claude 3.5 Sonnet) ▷라마 3.1 70B(Llama-3.1 70B) ▷하이퍼클로바X(HyperCLOVA X) 등 4종의 대형언어모델(LLM)이 생성한 가상 환자 답변을 의학교육 전문가의 모범 답변과 비교·분석했다. 고학년 의과대학생 17명이 답변의 출처를 모르는 상태에서 평가에 참여했으며, 총 7,480건의 평가 점수를 수집해 11개 병력 청취 문항 범주와 3가지 언어 형식으로 분석했다.

연구팀 분석 결과, AI 가상 환자는 대부분의 문항에서 전문가의 모범 답변에 근접하는 높은 사실 정확성을 보였다.

반면 환자의 주요 증상을 확인하는 ‘주호소 파악’, 질병과 치료 방법을 설명하는 ‘환자 교육’, 증상을 바탕으로 질환을 판단하는 ‘임상 추론’ 등에서는 언어적 유창성이 상대적으로 낮게 나타났다.

특히 한국어 부정형 질문에서 유창성이 추가로 저하돼 AI 가상 환자의 자연스러운 대화 능력을 별도로 검증할 필요성이 확인됐다. 연구팀은 이 평가 체계를 실제 운영 중인 웹 기반 진료 실습 플랫폼에 적용해, AI 가상 환자의 답변 품질과 자동 채점 기준을 지속적으로 검증할 수 있는 기반을 마련했다.

이용진 교수는 “의학교육자가 주도한 AI 가상 환자 평가 체계가 세계적인 인공지능 학술대회에서 인정받아 뜻깊다”고 했다.


fob140@heraldcorp.com