일본 3D 이미징 회사가 만든 가상 모델 ‘이마(IMMA)’. 한 해 벌어들이는 수익은 7억원이 넘는 것으로 알려졌다.[인스타그램 캡처]

미국 스타트업 ‘브러드’가 제작한 가상인간 ‘릴 미켈라’. 지난 2019년 130억원의 수익을 낸 것으로 알려졌다[인스타그램 캡처]

딥페이크 기술로 만든 가상인간 ‘루이 리’ [루이커버리 유튜브 캡처]

LG전자가 선보인 가상인간 김래아.[인스타그램 캡처]

국내 최초 리얼타임 디지털 휴먼으로 소개된 ‘수아’[온마인드 제공]

‘진짜 같은 가짜’ 디지털 휴먼(가상인간)이 일상 곳곳으로 스며들고 있다. 1990년대 가짜 티가 났던 초기 디지털 휴먼에서 현재는 고도화된 컴퓨터 그래픽을 기반으로 인공지능(AI)이 접목됐다. 이에 실제 사람과 구별하기 어려운 수준까지 다다랐다. 외형부터 동작 하나하나 실제 사람과 똑같을 정도로 ‘디자인 컴퓨팅’이 극대화된 덕분이다. 수만 건에 달하는 디자인 데이터를 바탕으로 AI가 학습을 거듭하면서 디지털 휴먼 완성도는 더욱 높아지고 있다. 동시 현실과 가상의 경계 또한 무너지고 있다.

▶3차원 그래픽 기술부터 모션캡처까지...디자인 컴퓨팅의 진화=디지털 휴먼이 처음으로 주목받은 사례는 국내 1호 남성 사이버 가수 아담이다. 아담은 1997년 컴퓨터 그래픽 기술을 바탕으로 탄생했다. 당시 3차원 게임소프트웨어를 개발했던 인터넷 벤처회사 아담소프트가 제작했다. 이듬해 1집 ‘세상엔 없는 세상’이란 곡으로 데뷔, 앨범 판매량만 20만장에 달했다. 인기에 힘입어 각종 CF 광고도 찍었다. 활동 3개월 만에 5억 원의 수익을 올리며 인기를 누렸다.

이내 아담의 여자 버전인 사이버 가수 ‘류시아’가 등장했다. 새싹이라는 순 우리말 이름의 류시아는 1년 여간 제작기간을 거쳐 3차원입체 그래픽기술을 이용해 만들어졌다. 이어 사이버 남자 대학생 ‘라이언’, 사이버 여대생 ‘스노우’가 등장하면서 종류도 다양해졌다. 저마다 실제 인간처럼 나이, 몸무게, 키, 성격 등이 설정됐다.

당시 문화계 전반으로도 영향이 확산됐다. 디지털 휴먼을 접목한 그룹도 등장한다. 2001년 결성된 5인조 그룹 ‘나스카’는 사이버 가수 나스카를 형상화해 함께 활동했다. 혼성그룹 TG도 여성멤버를 제외한 나머지 두 멤버는 컴퓨터그래픽으로 만들어졌다. 그러나 디지털 휴먼은 당시 비용과 기술력 부족으로 활동 영역이 한정됐다. 표정과 동작을 일일이 구현하는 데 기술적 한계에 직면하며 활동을 지속하지 못하고 끝을 맺었다. 그로부터 20여년 뒤 유튜브, 인스타그램 등 사회관계망서비스(SNS)에는 아담의 후손들이 과거를 뛰어넘는 인기를 구가하고 있다. 특히 유튜브에서는 유튜버 역할을 하는 가상 인간 캐릭터들이 대거 등장하고 있다. 이들은 버추얼 유튜버(virtual youtuber) 또는 준말 ‘브이튜버’로 불리며 인플루언서로 평가받는다.

브이튜버는 실제 사람의 움직임을 바탕으로 모션 캡처를 뜨고 3D 그래픽 기술 등을 이용해 실감나는 동작을 구현한다. 연기자의 표정이나 움직임에 맞춰 얼굴과 동작을 자유자재로 구사해 2D 또는 3D 캐릭터로 탄생된다.

국내 버추얼 유튜버의 시초는 중견 게임사 스마일게이트가 2018년 선보인 ‘세아’다. 당시 유튜브 채널 ‘세아스토리’에 처음 모습을 드러냈다. 본래 스마일게이트 모바일 RPG 게임 ‘에픽세븐’을 리뷰 및 홍보하는 역할이 목적이었다. 그러나 지난해 콘셉트를 바꾸면서 먹방(먹는 방송), 노래 부르기, 일상 브이로그 등을 진행하며 단순 홍보 채널에서 벗어났다. 실제 유튜버처럼 소통하며 구독자 8만명을 앞두고 있다.

버추얼 유튜버의 시초는 2016년 등장한 일본의 ‘키즈나 아이’다. 인기에 힘입어 2018년 일본 관광 홍보대사까지 지냈다. 유명 연예인이나 스포츠 선수를 발탁하는 국가의 얼굴에 가상 캐릭터가 진출한 것이다. 실제 콘서트를 개최하는 등 인플루언서로 성장, 유튜브 채널 구독자는 296만명·누적 조회수는 3억 8000만회를 상회한다.

인기는 지표를 통해 짐작할 수 있다. 유튜브 통계분석 업체 플레이보드에 따르면 전 세계 슈퍼챗(유튜브 후원 시스템) 상위 10개 채널 중 9개가 버추얼 유튜버다. 1위 채널은 누적 후원금만 25억원에 달한다.

▶7만건 실제 배우 움직임·표정 여기에 목소리까지 고스란히 재현=아담과 같은 초창기 디지털 휴먼은 3D 그래픽에 사람 목소리를 입힌 형태에 불과했다. 최근엔 인공지능(AI) 기술이 적용돼 실제 사람의 목소리와 행동을 배우며 정교함이 한층 높아졌다.

LG전자가 선보인 김래아는 AI가 활용된 디지털 휴먼이다. ‘미래에서 온 아이’라는 뜻의 이름을 가진 래아는 컴퓨터 그래픽으로 만들어진 외형에 AI기술로 목소리를 입혔다. 개발 당시 모션캡처 작업을 통해 7만여 건에 달하는 실제 배우의 움직임과 표정을 추출했다. 이를 토대로 인공지능의 한 분야인 딥러닝 기술을 이용해 3D 이미지를 학습시킨 결과물이다. 목소리와 언어 역시 4개월 여간 자연어 정보를 수집한 뒤 학습 과정을 거쳤다.

래아는 지난해 5월부터 인스타그램 계정을 운영하여 일상을 공개해 왔다. 본인을 23세 ‘싱어송라이터 겸 DJ’라고 소개하며 작곡활동 사진을 공유하기도 했다. 엘리베이터나 카페 등을 배경으로 찍은 사진은 실존하는 사람이라고 보여질 정도로 이질감이 없다는 평이 주를 이룬다. 공식 인스타그램 계정 팔로워 1만 명을 넘는 등 인플루언서 급으로 성장했다. 향후 음악앨범 발매 등 다양한 활동을 통해 LG전자 마케팅에 활용될 예정이다.

가장 인기를 끄는 디지털 휴먼으로는 미국 스타트업 ‘브러드’에서 제작한 ‘릴 미켈라(Lil Miquela)’가 꼽힌다. 인스타그램과 틱톡, 유튜브를 합해 500만 여명 팔로워를 보유했다. 캘빈 클라인, 샤넬 등 명품 브랜드의 모델로도 활동했다. 브러드는 미켈라 인기에 힘입어 2019년 896만 파운드(140억원)의 수익을 낸 것으로 알려졌다. 미 블룸버그통신에 따르면 인스타그램 포스팅 단가는 약 8500달러(한화 939만원)에 달한다.

일본 3D 이미징 회사가 만든 ‘이마(IMMA)’도 인스타그램 팔로워 34만 여명을 보유 중이며 한 해 벌어들이는 수익은 7억원이 넘는 것으로 알려졌다. 지난해 8월엔 이케아가 일본 도쿄에 매장을 내면서 모델로 기용해 화제가 된 바 있다.

▶ ‘진짜 같은 가짜’ 딥페이크로 정교함↑=디오비스튜디오가 제작한 가상인간 ‘루이’는 ‘진짜 같은 가짜’라는 평을 받는 디지털 휴먼이다. 얼핏 보면 사람으로 보이지만 딥페이크(deepfake)를 활용한 결과물이다. 딥페이크는 인공지능의 한 분야인 딥러닝(deep learning)과 가짜(fake)의 합성어로 딥러닝을 통한 정교한 가짜 영상이나 사진을 뜻한다.

루이의 얼굴은 7명의 얼굴 데이터를 수집한 뒤 AI 기계학습 기술을 활용해 제작됐다. 실제 촬영한 동영상에 가상의 얼굴을 합성하는 방법으로 제작되는 식이다. 몸은 진짜, 얼굴은 가짜인 셈이다. 단 SNS서 유명인의 얼굴 합성에 활용되는 딥페이크물과는 차이를 보인다. 실존하는 인물의 이미지가 아닌 가상의 얼굴을 생성하고, 생성된 얼굴을 영상에 합성해서다. 디오비스튜디오는 루이와 같은 디지털 휴먼을 추가 제작해 공개할 예정이다.

디지털 휴먼에 딥페이크가 활용되면서 기대와 우려의 목소리가 엇갈린다. 딥페이크가 특히 여성의 성적 대상화에 악용될 수 있어서다. 네덜란드 사이버 보안업체 딥트레이스에 따르면 인터넷에서 확인 가능한 딥페이크 콘텐츠는 2019년 1만4678건으로 전년 대비 84% 급증했다.

그 중 유명 여배우의 얼굴 이미지를 합성한 딥페이크 성인물은 약 96%에 달했다. K팝 가수들을 활용한 불법 영상물도 공유되는 실정이다.

반면 딥페이크는 고인을 복원하는 용도로도 각광받는다. 앞서 음악채널 엠넷의 ‘AI 음악 프로젝트’에서는 혼성그룹 거북이의 리더 고(故) 터틀맨과 가수 김현식이 최신곡을 부르는 영상을 구현했다. 터틀맨의 경우 실제 그의 체형과 비슷한 모델을 선정해 동작을 촬영했다. 그 뒤 과거 활동사진과 동영상 자료를 AI에 학습시킨 뒤, 최적의 얼굴 데이터를 추출했다. 이 데이터를 모델의 동작과 함께 합성한 뒤 자연스러운 모습을 구현한 것이다.

▶ “원조는 우리” 게임사들도 개발 박차=게임사들은 디지털 휴먼의 원조 격이다. 가상 게임 세계에 실감나는 캐릭터를 구현해오면서 기술력도 앞섰다는 평가다.

온마인드에서 제작한 ‘수아’는 국내 최초 실시간 인터랙티브(양방향 소통)가 가능한 가상 인간이다. 게임 회사 넵튠은 지난해 수아를 개발한 온마인드를 자회사로 편입시켰다.

기술 고도화에도 힘을 쏟고 있다. 온마인드는 앞서 나스닥 상장 기업 AMD와 협업을 통해 디지털 휴먼에 활용되는 ‘AMD 트레스FX’(AMD TressFX) 기술 업그레이드를 위한 협업을 진행한다고 밝혔다. AMD 트레스FX는 3D 캐릭터의 ‘헤어 시뮬레이션’ 기술로, 캐릭터의 머리카락을 더 사실적이고 자연스럽게 움직이도록 만든다.

수아는 게임개발 엔진사인 유니티 코리아 모델로 활동 중이며 올해부터 새 기획사 격인 넵튠에서 SNS 개정 신설 등 본격적인 활동을 이어간다.

게임 업계의 향후 도전과제로 ‘디지털 액터’를 꼽은 엔씨소프트는 지난 2011년부터 AI 조직을 꾸리고 관련 기술을 개발 중이다. 디지털 액터란 최첨단 기술 기반에 인간처럼 자연스럽게 연기할 수 있는 가상의 배우다. 일찍이 ‘비주얼 센터’를 설립한 뒤 총 100명 이상의 전문가가 근무하고 있다. 특히 센터 산하의 비주얼 캡처 스튜디오는 모션캡처, 3D 스캔 등 디지털 액터를 만드는 핵심 기술을 보유하고 있다.

유동현 기자