[국립극장 제공]

마침내 ‘로봇 지휘자’의 손에 지휘봉이 들렸다. 길고 가느다란 오른손에 안착한 지휘봉이 자유자재로 움직이고, 양손을 함께 쓰는 지휘 동작이 예상 외로 자연스럽다. 아직도 ‘기름칠’을 해야 할 것 같은 ‘뻣뻣한’ 로봇을 상상한다면 오산. 음악에 맞춰 고개도 까딱까딱, 심지어 단원들과 시선을 맞추는 것처럼 눈빛을 보낸다. 첫 만남엔 다소 놀랄 수 있는 파란 눈을 가졌지만, 보면 볼수록 끌리는 ‘볼매’(볼수록 매력있다)다. ‘감성형 로봇’이기 때문이다.

“예비 동작이 조금 더 컸으면 좋겠어요. 쉬었다가 다시 들어갈 땐 원이 크게 그려져야 돼요. 패턴을 보여주는게 중요하니까, 그것만 강조하고 또렷하게 보였으면 해요. 지휘봉은 조금 더 위로 올라가야 할 것 같아요.” (정예지 지휘자)

경기도 안산에 위치한 한국생산기술연구원 융합기술연구소. 로봇 지휘자가 태어난 이 곳에서 ‘로봇 박사’들과 로봇이 학습한 지휘 동작의 주인공인 정예지 지휘자가 ‘매의 눈’으로 로봇의 지휘를 살핀다. 정 지휘자의 이야기를 듣던 이동욱 한국생산기술연구원 수석연구원은 “지휘봉의 위치는 지휘봉 자체를 올리는 방법도 있고, 손목의 각도를 달리하는 방법도 있다”고 말했다.

이름은 에버6(EveR-6). 이 로봇이 완전한 지휘자로 태어나기까진 1년의 시간이 걸렸다. 안드로이드 로봇 ‘에버 시리즈’의 여섯 번째 버전이다. 한국생산기술연구원은 2006년 5월 국내 최초, 세계에서 두 번째로 로봇 ‘에버’ 시리즈를 개발했다. 사람의 모습을 한 에버 시리즈는 인간을 대신하거나 인간과 협력할 수 있는 ‘휴머노이드 로봇’이다.

이번엔 지휘에 도전했다. 국립국악관현악단은 관현악시리즈Ⅳ ‘부재(不在)’(6월 30일·해오름극장)를 통해 국내에선 처음으로 ‘로봇 지휘자’와의 협업을 시도한다. 앞서 세계 무대에선 2008년 일본 혼다사가 만든 아시모(Asimo)’, 2017년 스위스의 협동로봇 ‘유미(Yumi)’, 2018년 일본의 2세대 AI 휴머노이드 로봇 ‘알터2’와 2020년 ‘알터3’가 등장했다. 한국생산기술연구원과 국립국악관현악단은 한국 최초의 ‘지휘 로봇’을 만들기 위해 고군분투했다.

경기도 안산 한국생산기술연구원 융합기술연구소에서 ‘로봇 박사’ 이동욱 수석연구원과 이덕연 선임연구원, 로봇이 학습한 지휘 동작의 주인공인 정예지 지휘자가 에버6의 지휘를 살피고 있다. [사진=고승희 기자]

■ 가수·소리꾼·성악가…로봇 지휘자의 탄생 이전의 역사

에버6가 탄생하기까진 17년간의 ‘에버 성장사’가 밑거름이 됐다. 에버 시리즈가 세상에 나온 것은 2006년이다. ‘로봇 특별전’에서 선보일 목적으로 개발된 에버1이 시작이었다. 이동욱 수석연구원은 “당시엔 하반신이 없이 마네킹 다리에 앉은 로봇이었다”고 귀띔했다. 에버 시리즈는 그간 문화예술계에서 적잖은 활약을 했다. 가수였고, 소리꾼이었고, 성악가였다. 이들을 거쳐간 사람들도 쟁쟁하다.

에버2는 보컬리스트였다. 2006년 11월, 노래하는 로봇이 국내에서 처음으로 태어났다. 가수 솔지가 에버2의 목소리였다. ‘역주행 신화’를 일군 걸그룹 EXID로 데뷔하기 전 보컬 듀오 ‘2NB’로 가요계에 첫 발을 디뎠던 고등학교 시절 에버2를 만났다.

“2NB의 쇼케이스에 에버2도 함께 갔는데, 당시 MBC에서 취재를 왔어요. 그런데 전날 하드웨어에 문제가 생겨 목이 안 움직이더라고요. 방송을 못했던 기억이 있어요.(웃음)” (이동욱)

시행착오를 딛고 에버 시리즈는 점차 진화하기 시작했다. 사람에 보다 가까워진 모습이다. 2009년 2월에 완성된 에버는 마침내 ‘휴머노이드 로봇’으로 거듭났다. “사람처럼 모션을 취하도록 연구한 결과물”(이동욱)이었다. 데뷔 무대는 국립극장의 판소리 공연(‘엄마와 함께 하는 국악 보따리’). ‘스타 소리꾼’ 박애리의 목소리를 입고 태어났다. 이덕연 한국생산기술연구원 선임연구원은 “인간형 로봇이 무대에 선 것은 그 때가 처음”이라며 “아이들이 굉장히 좋아했다”고 돌아봤다.

지휘하는 로봇 에버6 제작 과정 [국립극장 제공]

에버4는 2012년 여수 엑스포에서 선보였다. 얼굴에 달린 모터만 해도 30개. 이동욱 수석연구원은 “다른 경쟁 로봇은 25개의 모터가 달렸는데 에버4는 그보다 더 많아 표현력에 있어선 최고 수준이었다”며 “혀도 만들어 립싱크할 때 움직일 수 있도록 했다”고 말했다. 에버5는 대구오페라하우스 무대에 선 성악가(‘완벽한 로봇 디바, 에버)였다. 소프라노 마혜선의 음성과 제스처를 입고 태어났다.

에버6가 세상에 나온 것은 2019~2020년 경이었다. 물론 당시는 ‘지휘자 로봇’은 아니었다. 그간의 에버 시리즈를 잇는 목적으로 태어난 로봇이었다. 이동욱 수석연구원은 “코로나19를 겪으며 특별한 프로젝트가 없어 사장될 뻔한 에버6가 지휘자로 데뷔하게 됐다”고 말했다.

그간 ‘에버 시리즈’는 사람의 형상을 하고 사람처럼 옷을 입고 무대에 올랐으나, 에버6는 로봇의 모습으로 관객과 만난다. ‘로봇 지휘자’를 더 분명하게 보여주고자 한 악단의 결정이다. 로봇 본연의 모습으로 무대에 서다 보니, ‘유연한 관절’과 ‘자연스러운 움직임’ 등 진화한 기술을 생생히 볼 수 있다는 것은 강점이 됐다. 몸과 눈동자의 색을 파란색으로 맞춘 것도 연구원들의 디테일이다. “사이버 느낌을 강조하기 위해서”(이동욱)다.

에버6의 강점은 사람과의 유사성이다. 특히 고개를 숙이고 얼굴을 움직일 땐, 사람의 감정을 표현하는 듯한 느낌을 준다. 이동욱 수석연구원은 “감정을 표현하는 데엔 표정과 제스처가 함께 가는 것이 중요하다”며 “특히 목의 제스처가 동반해야 감정 표현이 자연스럽게 느껴져 이러한 부분에도 신경 썼다”고 말했다.

로봇이 학습한 지휘 동작의 주인공인 정예지 지휘자가 에버6의 지휘 동작을 다듬고 있다. [사진=고승희 기자]

■ 역동적인 사람 동작…로봇 지휘자의 최대 난관

장르는 다르지만 그간 ‘노래’하는 데에 그쳤던 로봇은 이제 자유자재로 몸을 움직이며 ‘사람’과 소통해야 하는 영역에 도전했다. ‘지휘하는 로봇’을 완성하는 일은 그리 쉬운 과정은 아니었다.

“그동안 일상의 동작만 표현하다 보니, 이번 프로젝트를 통해 사람의 동작이 굉장히 빠르다는 걸 새삼 알게 됐어요. 특히 지휘 동작은 전환이 많고, 역동적인 데다 속도가 빠르더라고요. 3월에 모션 캡처를 시작할 때 위기를 느끼고, 이렇게는 안 되겠다 싶어 문제 해결 과정에 돌입했죠.” (이동욱)

에버6의 첫 걸음은 사람 지휘자의 동작을 학습하는 일이었다. 지난해 국립국악관현악단의 ‘지휘자 프로젝트’를 통해 발탁된 정예지 지휘자는 깔끔하고 간결한 지휘 동작이 장점이라 에버6의 선생님이 됐다. 그는 미국 피바디 음악원에서 마린 알솝의 첫 제자로 오케스트라 지휘 전공 석사 과정을 졸업했다.

정 지휘자는 온 몸의 관절 관절마다 30개에 달하는 마커를 붙인 뒤 모션 캡쳐(몸에 센서를 달아 인체 움직임을 디지털로 옮기는 일) 작업을 반복했다. 그의 지휘 동작을 연구해 에버6가 복사했다. 연구원들은 지휘봉의 운동 속도를 기록하고, 그 속도를 로봇이 정확히 따라잡을 수 있도록 수정을 이어갔다.

정 지휘자는 “특별히 뭔가를 새롭게 시도한다기 보다 그간 지휘했던 것과 똑같이 했다”며 “대신 지휘 도중 나오는 고유의 표현은 줄이고, 패턴을 보여주는 데에 집중했다”고 말했다. ‘음악적 해석’ 없이, ‘로봇 지휘자’가 할 수 있는 역할만 보여주는 데에 충실했다는 것이다. 그는 “사인에만 집중할 수 있도록 왼손은 배에 얹어둔 채 명료한 동작을 보여주고자 했다”고 설명했다.

인간의 ‘역동적인’ 지휘 속도를 따라가기 위해 연구원에선 “관절의 최대 속도를 고려한 모션 최적화 기술에 집중”했다. 이날 만난 에버6는 손으로만 지휘할 때와는 달리 지휘봉을 들면 다소 버거워보였다. 손에 쥔 지휘봉은 수전증이 온 것처럼 진동이 일었다. 지휘봉의 방향은 자꾸만 아래를 향했다. 이동욱 연구원은 “지금까지 구현하지 않았던 최대치의 속도를 내기 위해 관절마다 모터를 더 달다 보니, 진동이 발생할 수 밖에 없는 상황인데 앞으로 수정과 보완 작업을 거칠 예정”이라고 했다.

다만 약간의 난관은 예고됐다. 이덕연 연구원은 “모터를 줄여 진동을 잡으면 지휘 동작이 작고 느려진다”고 했다. 악단과 정 지휘자는 빠른 속도와 큰 동작을 원하는 만큼 최적점을 찾는 것이 중요한 과제가 됐다.

■ 로봇은 인간을 대체할 수 있을까…아직은 역부족

이 프로젝트는 ‘시대의 화두’에서 출발했다. ‘로봇이 지휘자를 대체할 수 있을까’라는 질문에 대한 답을 찾기 위해 시작된 실험이다.

흥미롭게도 채인영 국립국악관현악단 책임PD는 “프로젝트를 진행할수록 지휘의 영역은 로봇이 대체하기엔 역부족이라는 생각을 하게 된다”고 말했다. 제목 ‘부재’에도 “부재를 통해 존재의 가치를 역설한다”는 의미가 담겼다.

지휘는 단지 퍼포먼스에 그치지 않는다. 악단에서 지휘자는 단원들과 소통하고 교감하며, 음악을 만든다. 그 과정에서 지휘자의 판단과 해석은 필수다. 현재의 ‘로봇 지휘자’는 각각의 곡마다 학습된 지휘 동작을 익혀 지휘하는 데에 머문다. 단원과 교감하거나, 단원들의 오류를 잡아줄 수도 없다.

물론 에버6의 장점도 많다. 사람이라면 오류가 생길 수 밖에 없는 일은 ‘로봇’이 앞선다. 채 책임PD는 “로봇 지휘자는 변수 없이 일정한 속도와 박자로 진행되는 곡의 연주를 잘 한다”고 했다. 템포를 정확히 맞추는 것이나, 시간 계산엔 누구보다 완벽하다. ‘3.5초 후에 시작한다’는 조건이 나오면, 칼 같이 맞춰 초를 센다. 국립국악관현악단에서 에버6가 연주할 곡도 로봇 지휘자의 장점을 살릴 수 있는 곡으로 골랐다. 비얌바수렌 샤라브 작곡의 ‘깨어난 초원’과 만다흐빌레그 비르바 작곡의 ‘말발굽 소리’다. 에버6가 어려워하는 곡은 ‘말발굽 소리’다. 속도 때문이다. 로봇 지휘자는 시시각각 바뀌는 속도를 따라잡기 힘든 만큼, 상대적으로 느린 음악을 연주하면 보다 완벽에 가까운 지휘를 할 수 있다.

사람 지휘자와 로봇 지휘자가 함께 하는 현장도 만날 수 있다. 이 공연을 위해 작곡한 신작 ‘감’(손일훈 작곡)이다. 최수열 부산시립교향악단 예술감독과 함께 하는 무대다. 최수열 지휘자가 큰 그림을 그려 악단을 이끌면, 에버6가 보조 지휘자의 역할을 수행한다. 박자를 세고, 연주 시작 구간을 알려주고, 템포를 맞춘다. 로봇이 지휘를 잘 할 수 있는 곡으로 만들어졌다.

지휘하는 로봇의 가장 놀라운 점은 ‘동작의 유사성’이다. 사실 로봇은 팔을 움직일 때 방향 전환이 쉽지 않고, 사람처럼 세밀하고 정교한 동작을 할 수도 없다. 채 책임PD는 “로봇은 같은 방향으로의 반복적인 동작이 빠르고 정확한데, 지휘는 방향 전환이 많아 이러한 동작을 구현하기엔 어려움이 있었다”고 말했다. 에버6는 이 난관을 딛고 사람과 비슷한 동작을 만들어갔다. 정 지휘자는 “로봇이 지휘하는 것을 실제로 보니 생각보다 동작이 굉장히 세밀하고, 진짜 내가 하는 것 같아 신기하고 놀랐다”고 말했다. 학습한 사람의 데이터를 통째로 흡수하기에, 안드로이드 로봇엔 그 사람의 개성이 고스란히 묻어난다. 에버6가 고개를 움직이는 모습 역시 정 지휘자의 제스처다.

채 책임 PD “연주자들이 연주를 할 땐, 지휘봉 끝의 움직이는 점만 보지 않는다. 팔과 어깨, 몸 전체의 움직임이 주는 뉘앙스가 연주자에겐 중요한데, 로봇이 지휘 동작을 어떻게 구현할지 고민되는 지점이 있었다”며 “모션 캡쳐 작업을 한 이후 지휘를 보니 기대했던 것 이상으로 신체 움직임에 뉘앙스가 들어갔다”며 감탄했다. 이동욱 연구원은 “어색하지 않은 모습을 목표로 공연날까지 작업을 이어갈 것”이라고 했다.

국립국악관현악단의 ‘로봇 지휘자’ 실험은 다가올 미래 시대에 대한 예행연습이기도 하다. 이미 ‘휴머노이드 로봇’과의 공존이 시작됐기 때문이다. 이동욱 연구원은 “사람과 로봇이 불편함 없이 상호작용하는 것이 로봇 프로젝트의 가장 큰 목표”라고 했다. 첫 실험을 통해 악단에서도 새로운 가능성을 발견했다. 채 책임 PD는 “상임 지휘자가 잠시 자리를 비운 상황이나 기존의 해석을 건드리지 않고, 단순 반복 등의 연습을 해야할 경우 로봇 지휘자가 도움이 될 수 있지 않을까 싶다”고 기대했다.

[영상=이건욱PD]