[AI작곡 시대] “즐거운 분위기의 팝으로 부탁해”…어떻게 만들까?

입력 2021-06-10 09:26:08

업보트 엔터테인먼트는 AI 작곡 프로그램(아이즘·AISM(Artificial Intelligence System of Music))을 직접 개발, 지니뮤직을 비롯해 다양한 대기업과 협업 AI 동요 앨범, BGM 등을 내놨다. (여자)아이들 전소연, 있지(ITZY) 리아 등을 배출한 보컬, 댄스 등 ‘음악 아카데미’로 출발해 매니지먼트로 확장한 이후 AI 작곡을 처음 시작했다. 문중철 업보트 엔터테인먼트 대표는 “인공지능은 음악을 만드는 좋은 도구이자, 누구나 창작하고 소비하는 경제 생태계를 만드는 좋은 모델이 될 것”이라고 말했다. [업보트 엔터테인먼트 제공]

[헤럴드경제=고승희 기자] #1. “왠지 몰라도 난 실없게 웃는게 좋아 딱 이렇게 아이 돈트 노우 와이 아이 돈트 노우 와이”( 하연 ‘워크 어웨이(Walk Away) 중)

소녀시대 태연의 동생 하연은 지난해 10월 AI 작곡가 이봄(EvoM)과 인간 창작진(프로듀서 누보, 박찬재)가 협업한 ’아이즈 온 유(Eyes on you)‘로 데뷔했다. 당시 이 곡은 발매 하루 만에 월드 와이드 아이튠즈 최신 송 차트 103위, 대만 음원 차트 6위를 기록했다.

#2. “쉿! 귀여운 아기야, 울타리를 넘어서, 밤하늘을 날아가, 은하수를 안아” (‘아기양의 허쉬 리틀 베이비’ 중)

자장가의 ‘단골손님’인 마림바의 맑은 소리가 엄마의 부드러운 음색과 어우러진다. 나른한 박자 위로 실리는 편안한 목소리와 멜로디에 복잡한 심사도 달아난다. 지니뮤직이 CJ ENM 애니메이션 사업부, 업보트 엔터테인먼트와 협업, 국내 음악 플랫폼 최초로 선보인 AI 자장가 앨범 ‘아기동물 자장가 모음집’(2021년 4월 발표)에 실린 곡이다. 이 앨범을 비롯해 앞서 공개된 동요 앨범들은 조회수 25만회를 넘겼다.

AI 작곡의 본격적인 시작은 2010년으로 본다. 미국 산타크루즈 캘리포니아 대학의 데이비드 코프 교수가 딥러닝 기술을 적용해 개발한 AI 작곡가 ‘에밀리 하웰’이 모차르트, 베토벤 풍의 디지털 싱글을 발표했다. 이후 2016년 소니의 AI 작곡 프로그램 ‘플로우머신’은 비틀스 스타일의 ‘대디스 카(Daddy’s Car)’, 듀크 엘링턴 스타일의 ‘미스터 섀도우(Mr. Shadow)’를 발표했다. 세계 팝 음악계에 AI 창작이 등장한 첫 사례다.

한국에선 2018년 역사적인 첫발을 뗐다. 국내 최초 인공지능 음반 레이블 엔터아츠는 2018년 AI와 인간과의 협업을 통해 스피카 김보형의 ‘문라이트(moonlight)’를 제작한 이후 지금까지 총 14곡의 K팝 싱글 앨범을 선보였다. 작곡은 물론 편곡까지 인공지능이 수행한 것은 ‘문라이트’가 세계 최초다. 이후 AI 작곡가의 활약이 일상 곳곳에서 발견되고 있다. 업보트 엔터테인먼트는 지니뮤직을 비롯해 다양한 대기업과 협업해 AI 동요 앨범, BGM 등을 내놨다. 특히 업보트에선 직접 개발한 AI 작곡 프로그램(아이즘·AISM(Artificial Intelligence System of Music))을 통해 다양한 음악을 만들고 있다.

▶ 분위기·장르 등 키워드 입력…‘콘셉트 작곡’·‘취향 작곡’=세 장의 동요앨범을 선보인 지니뮤직과 업보트 엔터테인먼트의 작곡 방식은 두 가지 형태로 진행된다. ‘콘셉트 작곡’과 ‘취향 작곡’ 방식이다. 엔터아츠의 인공지능 작곡 프로그램 역시 음악을 장르별로 모두 분류해 곡을 구성하도록 돼 있다.

이해일 지니뮤직 콘텐츠1본부 본부장은 “즐거움, 우울함 등 분위기를 표현하는 키워드나 팝 록과 같은 장르, 빠르기 등 다양한 키워드를 입력해 원하는 곡을 만드는 것이 콘셉트 작곡의 방식이라면, 원하는 취향의 곡을 재해석하는 것이 취향 작곡의 방식이다”라고 말했다. 자연어처리 기반 AI 기술을 통해 음악을 작업하면 불과 3분이면 20~30초 길이의 음악이 완성된다.

국내 최초의 인공지능 음반 레이블 엔터아츠에 소속된 AI 작곡가 에이미문은 현실과 가상세계를 넘나들며 왕성한 창작활동을 하고 있다. 태연 동생으로도 잘 알려진 가수 하연의 곡을 만든 것은 물론 네이버제트가 운영하는 메타버스 플랫폼 제페토에서 프로듀서로도 활동하고 있다. [엔터아츠 제공]

AI 작곡 프로그램이 하나의 음악을 완성하기 위해선 학습용 음원 데이터 가공, 작곡, 사운드 소스 후처리, 믹싱, 마스터링 등의 과정이 따라온다. 가장 중요한 첫 단계는 AI 작곡가가 창작을 시작하기 위한 ‘학습의 과정’이다. 기존 곡을 많이 익히고 있을수록 보다 완성도 높은 노래를 만들 수 있다. 소니의 플로우머신만 해도 1만 3000여곡을 학습했다.

업보트에도 12명의 창작진이 만든 곡을 통해 학습 과정을 거친다. 문중철 업보트 엔터테인먼트 대표는 “가장 중요한 것은 양질의 음원 데이터를 많이 확보하는 것과 그것을 음악적으로 풀어내 인공지능이 학습하고 원하는 결과를 나올 수 있게 하는 것”이라며 “사내 프로듀서가 만든 곡을 인공지능에게 학습시킨 후 피드백을 하는 작업을 반복해 원하는 노래가 나올 수 있도록 하는 것이 인공지능 음원을 만드는 회사들의 기본이다”라고 말했다.

▶인간과의 협업 필요…“인공지능은 아이와 같아 반복학습 중요”=인공지능이 1차적으로 멜로디와 반주를 만들면, 인간과의 협업이 필요하다. 기성 창작진이 AI가 만든 음악에 디테일을 더하고, 편곡 작업을 거친다. 이해일 본부장은 “인공지능 음악의 완성도는 현재 20~30% 수준이라 사람의 개입이 필요하다”라며 “업보트에는 실력있는 작곡가와 편곡가가 포진해 있어 완성도 높은 음악을 만들어낸다”고 말했다.

인공지능 작곡가와 협업 중인 양호영 업보트 엔터테인먼트 프로듀서는 “인공지능은 아이와 같아서 연주하고 행동하는 것을 되새김질 하면서 반복해 가르치는 느낌이다”라며 “많은 양을 학습시킨 후 이론을 짜고, 결과물을 받고, 피드백을 취합해 퀄리티를 올리는 작업을 반복하고 있다”고 말했다. 문중철 대표도 “초기엔 10곡 중 한두 곡이 괜찮게 나왔는데, 어떤 음악의 경우 소음이다 싶을 정도로 이상한 음악도 있었다”고 말하기도 다. 지금은 달라졌다. 양 프로듀서는 “그동안 시행착오도 많았지만, 이제는 점차 고도화되는 과정에 있다”고 말했다.

실제로 AI 작곡 프로그램도 짧은 시간 발전과 진화의 과정을 밟았다. 엔터아츠에 따르면 현재의 인공지능 작곡 프로그램엔 악기수가 늘어 음악을 보다 풍성하게 만들 수 있게 됐고, 멜로디 라인과 리듬이 자연스러워졌다. 박찬재 대표는 “기계 학습만 하다 보면 AI는 다소 딱딱한 음악, 기계적이고 정확하기만 하 음악만 만들었다”며 “지금은 보다 인간미가 있는 음악이 나오고 있다”고 설명했다.

AI 작곡 프로그램을 통해서라면 음악에 대한 전문 지식이 없는 사람들도 간단한 음악을 만들 수 있다. 업보트 엔터테인먼트에선 아이즘을 통해 누구나 음악을 만들 수 있는 프로그램도 선보일 계획이다. 몇 가지 질문에 따라 답변을 선택하면 자신이 원하는 음악을 만들 수 있도록 했다.

문중철 대표는 “AI 작곡 프로그램을 통해 누구나 창작하고 소비하며 또 하나의 재밌는 거리가 만들어질 것”이라며 “오디오의 유튜브화를 궁극적인 비즈니스 모델로 삼고 있다”고 말했다.