OpenAI 기술 기반 국내 AI 역량 인증시험

APEX 공동 개발 참여 안희갑 교수 인터뷰

안희갑 포항공과대학교(POSTECH) 인공지능대학원 학과장. [데이원컴퍼니 제공]
안희갑 포항공과대학교(POSTECH) 인공지능대학원 학과장. [데이원컴퍼니 제공]

[헤럴드경제=박상현 기자] 생성형 인공지능(AI)의 등장은 대학 강의실 풍경도 바꿨다. 인공지능을 연구하는 컴퓨터공학과나 인공지능대학원에선 이러한 변화가 더욱 두드러진다. 안희갑 포항공과대학교(POSTECH) 인공지능대학원 학과장은 기존엔 이론 위주의 수업-과제-필기시험-토론 등으로 수업과 연구가 이뤄졌다면, 이제는 연구와 강의의 전반적인 과정에서 AI가 보다 촘촘하게 보조하는 방향으로 재편됐다고 설명했다.

안 교수는 ‘동적 기하환경에서의 최적 자료구조 및 응용 알고리즘 개발’ 연구로 지난해 과학기술정보통신부 장관상을 수상할 만큼, 알고리즘 분야의 권위자로 평가받는다. 최근엔 AI 직무 역량을 종합적으로 측정·인증하는 국내 AI 역량 인증시험 ‘APEX’ 개발에 참여했다. 그리고 지금은 ‘AI를 잘 쓴다는 것을 시험으로 측정할 수 있느냐’는 의심과도 마주하고 있다.

안 교수는 16일 헤럴드경제와 인터뷰에서 “‘AI를 잘 쓰는 것은 감(感)이다’라는 말은 완전히 틀렸다고 보긴 어렵지만, 그렇다고 그 자체로 정답도 아니다”라며 “‘감’처럼 보이는 능력을 관찰 가능한 수행으로 전환해 평가할 수 있다”고 말했다.

안 교수가 개발에 참여한 APEX는 OpenAI 기술 파트너십을 기반으로 데이원컴퍼니가 서울대·POSTECH·고려대 연구진과 공동 개발한 AI 직무 역량 인증시험이다. ‘AI를 아는가’보다 ‘AI와 함께 실제 업무를 끝낼 수 있는가’를 본다. 총 50문항, 140분으로 구성된 이 시험은 ▷문제 정의 ▷정확한 지시 ▷결과물 고도화 ▷통합적 사고 ▷보안과 윤리 ▷비즈니스 판단 등 6개 영역의 역량을 평가한다.

안 교수는 “AI 활용 역량 평가는 기초 지식뿐 아니라 문제정의 능력, 검증 능력, 견고성·재현성, 안전·윤리·보안에 대한 이해, 협업 및 설명 가능성 같은 다면적 역량을 함께 보아야 한다”고 강조했다. 기존 지필평가를 단순 확장하는 방식이 아닌, 평가 내용과 방식 자체를 새로 설계해야 한단 것이다.

안 교수는 ①문제 구조화와 요구사항 및 제약 정의 ②근거 기반 해결안의 단계적 제시 ③다양한 데이터와 조건 속 검증과 오류 수정 ④안전·보안 절차와 윤리적 점검 수행 ⑤성능 개선까지 책임 있는 마무리 등을 채점 기준표(루브릭)으로 평가하는 방식이 바람직하다고 설명했다.

낯선 분야에 대한 그간 시도되지 않았던 시험인 만큼 ‘AI가 채점한 점수를 믿기 어렵다’는 응시자들의 반응도 존재한다. 안 교수는 “어떤 기준과 방식으로 검증되는 채점인가를 분명히 설명하는 것이 중요하다”며 “(APEX는) 단순히 점수만 제시하는 것이 아니라, 어떤 기준 항목에 대한 평가 근거와 피드백을 함께 제공해 응시자가 결과를 이해하고 개선할 수 있도록 한다”고 강조했다. 이어 “AI 채점과 루브릭의 일치 여부를 지속적이고 체계적으로 점검해 일관성과 공정성을 유지하고, 피드백 방안과 개선 절차 등 안전장치를 두어 검증 가능한 채점 시스템이 되도록 한다”고 했다.

알고리즘 분야 전문가인 안 교수는 국제정보올림피아드(IOI)와 대기업 입사 시험 문항을 직접 출제하기도 했다. 그간 ‘정답’이 있는 시험 문제를 만들던 그는 정답 대신 ‘판단’을 평가하는 시험까지 만들게 됐다. 안 교수는 “정답이 없는 판단을 채점하는 AI 활용 역량 시험에서 가장 달랐던 점은, 정답을 맞히는 문제를 만드는 것이 아니라 좋은 판단을 채점 가능한 수행으로 번역하는 기준을 설계하는 것”이라고 말했다. 그러면서 “단순히 맞았다, 틀렸다가 아니라 문제를 어떻게 정의했고 어떤 가정을 두었는지, 어떤 근거로 의사결정을 했는지, 어떤 검증과 오류 수정·안전 절차를 거쳤는지를 평가해야 했다”고 부연했다.

APEX는 AI를 통해 문제를 해결하는, ‘AI를 옆에 두고 푸는 시험’이다. 안 교수는 이에 대해 “앞으로의 실무는 AI를 금지한 환경이 아니라, AI를 활용해 생산성과 품질을 끌어올리는 환경이기 때문”이라며 “APEX는 ‘AI를 이기는 사람’이 아니라 AI를 활용해 인간의 문제해결 역량을 확장하는 사람을 평가한다”고 말했다.

단순 AI 사용법만 아는 것을 넘어 직무 성과로 ‘연결’하는 것. 이러한 ‘연결’에 대해 안 교수는 “그럴듯한 결과물을 만드는 것을 넘어, 실제 직무 맥락에서 문제정의, 실행, 검증, 리스크 통제, 재현 가능한 성과로 이어지게 만드는 능력”이라고 정의했다. AI 프롬프트를 잘 만드는 스킬이 아니라, AI를 포함한 전체 작업을 책임지고 운영하는 능력이란 설명이다.

안 교수는 인터뷰에서 AI 활용 능력 가운데 ‘윤리’와 ‘개선’을 여러 차례 강조했다. 그가 언급한 ‘책임지고 운영하는 능력’ 역시 이와 맞닿아 있다. 문제를 파악해 구조화하고 의사를 결정하는 ‘생각근육’과 더불어 AI의 오류와 불확실성을 전제로 검증하고 안전·보안·윤리 관점에서 리스크를 통제하며 개선까지 이끌어내는 ‘적응근육’이 APEX의 주요 검증 요소인 이유다.


pooh@heraldcorp.com