얼굴표정 3차원 이미지로 재구성

KAIST ‘AI 라이트 카메라’ 개발

근적외선 기반 라이트필드 카메라를 이용해 획득한 표정별 거리 지도 및 3차원 얼굴 특징.[KAIST 제공]
근적외선 기반 라이트필드 카메라를 이용해 획득한 표정별 거리 지도 및 3차원 얼굴 특징.[KAIST 제공]

다양한 얼굴의 감정 표정을 정확하게 인식해 3차원 이미지로 재구성하는 신개념 카메라 기술이 개발됐다.

한국과학기술원(KAIST)은 바이오및뇌공학과 정기훈·이도헌 교수 공동연구팀이 라이트필드 카메라와 인공지능(AI)을 융합해 얼굴의 감정표현을 구분하는 기술을 개발했다고 7일 밝혔다. 라이트필드 카메라는 미세렌즈와 대물렌즈를 결합한 초소형 카메라다. 한 번의 촬영으로 빛의 공간 및 방향 정보를 획득해 다시점 영상, 디지털 재초점, 3차원 영상 획득 등 다양한 영상 재구성이 가능하고 많은 활용 가능성으로 주목받고 있다.

하지만 기존 라이트필드 카메라는 실내조명에 의한 그림자와 미세렌즈 사이의 광학 크로스토크에 의해 이미지의 대비도 및 3차원 재구성의 정확도가 낮아지는 한계점이 있다.

연구팀은 라이트필드 카메라에 근적외선 영역의 수직 공진형 표면 발광 레이저 광원과 근적외선 대역필터를 적용, 기존 라이트필드 카메라가 갖는 조명 환경에 따라 3차원 재구성의 정확도가 낮아지는 문제를 해결했다. 이를 통해 얼굴 정면 기준 0도, 30도, 60도 각도의 외부 조명에 대해, 근적외선 대역필터를 사용한 경우 최대 54%까지 영상 재구성 오류를 줄일 수 있었다. 연구팀은 개발한 카메라를 통해 피험자의 다양한 감정표정을 가진 얼굴의 3차원 재구성 이미지를 조명 환경과 관계없이 고품질로 획득했다. 획득한 3차원 얼굴 이미지로부터 기계 학습을 통해 성공적으로 표정을 구분할 수 있었고, 분류 결과의 정확도는 평균 85% 정도로 2차원 이미지를 이용했을 때보다 통계적으로 유의미하게 높은 정확도를 보였다.

근적외선 기반 라이트필드 카메라 모식도.[KAIST 제공]
근적외선 기반 라이트필드 카메라 모식도.[KAIST 제공]

정기훈 교수는 “개발한 초소형 라이트필드 카메라는 정량적으로 인간의 표정과 감정을 분석하기 위한 새로운 플랫폼으로 활용될 수 있을 것으로 기대된다”며 “모바일 헬스케어, 현장 진단, 사회 인지, 인간-기계 상호작용 등의 분야에서 활용될 것”이라고 의미를 설명했다. 구본혁 기자


nbgkoo@heraldcorp.com