32명 참여…수어 자막·대화 보조 기술 개발
XR·AI 결합한 시제품 제작…후속 연구 지원
[헤럴드경제=김광우 기자] KAIST가 인공지능(AI) 안경과 확장현실(XR) 기기를 활용해 소통과 학습을 돕는 기술 발굴에 나섰다. 수어를 실시간 자막으로 바꾸고 숙련자의 작업 노하우를 초보자에게 전달하는 등 대학생들의 아이디어가 시제품으로 구현됐다.
KAIST는 증강현실연구센터가 지난 21일부터 이틀간 메타버스대학원 산학협력실에서 ‘CG&I × KAIST 2026 XR·AI 윈터스쿨·해커톤’을 개최했다고 23일 밝혔다.
이번 행사에는 55건의 지원 아이디어 중 제안서 평가를 거쳐 선발된 대학생 32명이 2인 1팀으로 참여했다. 8개 팀은 경량 증강현실(AR) 안경을, 나머지 8개 팀은 몰입형 XR 헤드셋을 활용해 기술 개발과 시연에 도전했다.
경량 AR 안경은 실제 공간에서 사람이나 사물과 연결된 정보를 보여주는 데 활용됐다. 몰입형 XR 헤드셋은 가상공간에 학습이나 작업 환경을 구현해 이용자가 직접 체험하도록 하는 데 사용됐다. 서로 다른 기기를 활용해 일상 속 다양한 상황에 AI 기술을 적용하는 방안을 탐색한 것이다.
행사의 초점은 AI가 사람의 일을 대신하는 데 그치지 않고 사용자의 소통과 학습 능력을 높이는 데 있다. AI가 언제, 얼마나 개입해야 실질적으로 도움이 되는지를 일상적인 문제에 적용해 보는 방식이다.
행사에서는 우수상 3개 팀과 장려상 3개 팀 등 총 6개 팀 12명이 수상했다.
대한전자공학회 컴퓨터소사이어티 회장상(우수상)은 유진(중앙대)·권나현(가천대) 팀이 받았다. 이들은 숙련자의 장비 조작 설명을 초보자용 단계별 안내로 바꾸는 AI 도우미를 개발했다. ‘이거’, ‘저거’ 같은 모호한 표현을 실제 버튼과 부품에 연결해 보여주는 기술이다.
한국정보과학회 CG&I 소사이어티 회장상(우수상)은 장승호·기민준(KAIST) 팀의 ‘마주(MAZU)’에 돌아갔다. 한국수어와 미국수어를 인식해 각각 한국어와 영어 자막으로 보여줘 청각장애인과 비장애인의 소통을 돕는 시스템이다.
한국게임학회장상(우수상)은 유시현(건국대)·안성진(KAIST) 팀의 ‘스페이셜 리뷰’가 받았다. 수학 강의의 음성과 판서를 분석해 입체도형을 가상현실 공간에서 3차원으로 복습하도록 돕는 기술이다.
장려상에는 설계자의 설명을 도면과 연결해 조립자에게 전달하는 ‘배턴’(박은지·김예준), AI가 만든 설계 대안을 XR 공간에서 비교하는 ‘폼브리지’(김찬이·이주영), 기타 레슨의 시범을 악보 마디별로 기록해 연습을 돕는 기술(정현서·최치원)이 선정됐다. 세 팀 모두 KAIST 소속이다. 각각 한국전자통신연구원(ETRI), 한국과학기술정보연구원(KISTI), KAIST 증강현실연구센터 관련 상을 받았다.
대화 중 꼭 필요한 순간에만 정보를 보여주는 AI 보조 기술, 전시 해설사의 설명을 작품 위치와 연계해 기록하는 기술 등도 선보였다. 다만 수상작은 시제품 개발·시연 단계로, 실제 성능과 학습 효과는 추가 검증이 필요하다. 촬영·녹음에 따른 개인정보 보호 문제도 남아 있다.
우운택 KAIST 증강현실연구센터장은 “AI 안경은 사용자가 스스로 배우고 판단하도록 도와, 안경을 벗은 뒤에도 배움과 경험이 자신의 역량으로 남게 해야 한다”고 말했다.
KAIST는 우수한 학부생에게 내년 1~2월 최대 2개월의 연구 인턴십 기회를 제공하고, 내년부터 봄·가을 정기 해커톤을 열어 후속 연구와 실증을 지원할 계획이다.
한편 KAIST 증강현실연구센터는 현실에서 얻은 정보를 기록·정리해 새로운 상황에 활용하고, AI의 도움 없이도 이용자가 능력을 발휘할 수 있도록 돕는 ‘초시공간 공생 현실증강지능(Symbiotic AIR4BTS)’ 연구를 진행하고 있다.
woo@heraldcorp.com

