“영화·축구 중계, 사람 움직임 3D로 척척”…UNIST, 추적 오류 61% 줄였다

입력 2026-10-15 12:00:10

- 영화·스포츠 중계 영상서 성능 입증

- 디지털 휴먼·VR 콘텐츠 활용 기대

멀티썸즈는 컷을 이어붙여 만드는 영화, 스포츠 중계 영상에서 인물의 움직임을 복원하는 데 쓸 수 있다.[UNIST 제공]

[헤럴드경제=구본혁 기자] 영화나 스포츠 중계에서 카메라 각도가 바뀌어도 같은 인물을 정확하게 추적하고 움직임을 3차원(3D)으로 복원하는 인공지능(AI) 기술이 개발됐다. 별도의 특수 촬영장비 없이 기존 영상만으로 사람의 움직임을 입체적으로 재현할 수 있어 스포츠 경기 분석과 영화·게임 속 디지털 휴먼 제작에 활용될 전망이다.

울산과학기술원(UNIST)은 인공지능대학원 백승렬 교수 연구팀이 화면 전환이 잦은 영상에서도 여러 사람의 3D 몸 형상과 움직임을 일관되게 추적하는 AI 기술 ‘멀티썸즈(Multi-THuMBS)’를 개발했다고 15일 밝혔다.

3D 인체 복원기술은 카메라 각도가 달라지거나 화면이 확대·축소되면 같은 사람을 다른 인물로 인식하는 문제가 있었다. 화면 속 인물의 위치 변화도 실제 이동으로 잘못 판단해 복원된 인물이 엉뚱한 곳에 나타나는 오류가 발생했다.

연구팀은 이를 해결하기 위해 화면 전환 전후의 두 장면을 하나의 3차원 공간으로 연결하는 기술을 적용했다.

AI가 영상 속 배경과 카메라 위치를 동일한 좌표계에 복원한 뒤 각 장면의 인물 모형을 배치하는 방식이다. 이후 인물 간 거리와 옷차림, 자세 등을 종합적으로 비교해 같은 사람을 찾아 연결한다.

이렇게 확보한 공간 정보를 영상 전체에 적용해 인물의 움직임을 자연스럽게 이어 붙인다.

여러 대의 카메라로 촬영한 인체 동작 데이터셋 ‘에고휴먼스(EgoHumans)’에 화면 전환을 적용한 실험에서 기존 기술인 GVHMR보다 3차원 관절 위치 오차가 약 31% 감소했다.

특히 같은 사람을 다른 사람으로 잘못 인식하는 신원 전환 오류는 약 62% 줄었으며, 카메라 위치 추정 오차도 절반 수준으로 낮아졌다.

실제 영화 장면 데이터와 미국 인기 시트콤 ‘프렌즈’, ‘빅뱅이론’ 영상에서도 우수한 성능을 확인했다.

화면 전환 전후 관절 위치가 일치하는 비율은 90.7%로 기존 비교 기술의 62.7%를 크게 웃돌았다. 복원된 동작이 떨리는 현상은 약 5분의 1로, 발이 바닥에서 미끄러지는 오류는 절반 이하로 감소했다.

이번 기술은 축구 등 스포츠 경기에서 선수들의 움직임을 정밀하게 분석하거나 영화·게임 캐릭터에 실제 배우의 동작을 입히는 데 활용할 수 있다. 기존 영상에서 대규모 3D 동작 데이터를 확보해 가상·증강현실(VR·AR) 콘텐츠와 AI 학습 데이터 구축에도 기여할 것으로 기대된다.

다만 현재는 카메라 화면이 바뀌더라도 동일한 물리적 공간을 촬영한 영상에 적용할 수 있다. 서로 다른 장소로 전환되는 영상에서 인물을 지속적으로 추적하는 기술은 후속 연구 과제다.

백승렬 교수는 “기존 3D 인체 복원 기술은 화면이 바뀌는 순간 사람을 놓치는 한계가 있었다”며 “이번 기술은 영화·방송·스포츠 중계 등 편집 영상에서도 여러 사람의 움직임을 3차원으로 연속 복원할 수 있어 활용 가능성이 크다”고 설명했다.

nbgkoo@heraldcorp.com