머신러닝·딥러닝 ‘음원 분석’
추천 정확도·다양성 크게 높여
개인 취향 맞춤형 서비스 가능
SKT 매니저 음악앱 ‘플로’ 설명

AI 기반 개인화 추천을 내세운 SK텔레콤 ‘플로’. [SK텔레콤 제공]

콘텐츠 플랫폼 시장에서 인공지능(AI)은 더 이상 낯선 존재가 아니다. 내가 좋아하는, 혹은 좋아할 만한 영화, 드라마, 음악을 추천해주고 관심 있어 할 만한 뉴스도 선별해 보여준다. 최근에는 가상ㆍ증강현실(VRㆍAR) 등과 결합해 나에게 어울릴 만한 옷, 액세서리, 헤어스타일을 추천하기까지 한다.

AI 추천이 가장 활발한 서비스 중 하나가 음악 감상 애플리케이션(앱)이다. 과거에는 흔히 ‘톱100 차트’라 불리는 실시간 음원순위가 중심이었다면, 이제는 개개인의 취향, 상황에 맞춘 다양한 음악이 이용자의 눈을 사로잡는다. 그렇다면 AI는 어떻게 내가 좋아하는 음악을 알고 추천할까.

지난 10일 SK텔레콤 분당사옥을 방문해 ICT기술센터 미디어랩스에서 실제 음원분석, 추천 기술을 담당하는 이승진 매니저를 만났다.

이 매니저는 “기존의 음악 추천 서비스는 단순히 사용이력, 청취리스트를 기반으로 유사곡 등을 찾아 추천했다면, 이제는 AI 기반 머신러닝, 딥러닝 등을 활용해 음원을 분석해 추천의 정확도, 다양성을 크게 높이고 있다”고 말했다.

그가 예로 든 것은 SK텔레콤 음악앱 ‘플로’다. SK텔레콤은 지난해 12월 음악앱 ‘플로’를 새로 선보이며 AI 기반 음악추천과 사용자경험(UX)을 특징으로 내세웠다. 본격적인 AI 딥러닝을 적용한 것도 지난해 말부터다.

콜드플레이의 ‘파라다이스’ 음원을 이미지화 해 음원분리한 모습. 위는 전체 음원의 스펙트로그램 이미지, 아래는 보컬만 분리한 이미지. [SK텔레콤 제공]

이 매니저는 음원 신호를 샘플링해 2차원의 눈에 보이는 ‘그림’ 형태로 변환하는 기술적인 과정이 필요하다고 설명했다. 음원 신호를 분석하기 위해 활용하는 방법은 STFT(Short-time Fourier transform)이다. STFT 방식을 이용해 음원을 시간, 주파수를 축으로 하는 스펙트로그램 이미지를 만든다. 음원을 이미지로 바꾸면 보컬, 키보드, 드럼, 베이스기타 등이 제각기 다른 패턴으로 나타난다.

이미지화한 음원신호는 AI 모델을 활용해 다시 숫자로 바꾼다. ‘플로’에서는 이를 128개의 숫자를 이용해 분석한다. 숫자화한 음원은 사용자의 플레이리스트와 매칭하고, 내가 좋아하는 노래의 숫자와의 거리를 분석해 보다 가까운 숫자의 음원을 추천한다.

AI 음원분리 역시 이와 유사한 이미지화 과정을 거친다. SK텔레콤은 SM엔터테인먼트와 손잡고 AI 음원분리 기술을 활용한 서비스를 준비 중이다. 기존의 MR 반주가 원곡보다 다소 조잡한 수준이었다면, AI 기술을 활용해 보컬을 분리한 음원원곡에 내 목소리를 입힐 수도 있다.

AI가 음원 1곡을 분석하는데 걸리는 시간은 약 3초 정도다. 때문에 하루에 신곡이 수백곡씩 쏟아져 나오더라도 실시간으로 음원을 분석하는데 무리가 없다.

이 매니저는 “프로세서, GPU(그래픽처리장치) 등 컴퓨터 성능에 따라서 걸리는 시간은 다르지만, 보통 사전에 학습된 데이터가 있고 고성능 컴퓨터를 사용한다면 음원 1곡 분석에 걸리는 시간은 더 짧아질 수 있다”고 설명했다.

무엇보다 AI 음원분석 기술의 장점은 다양한 음원의 발굴이다. 다시 말해, ‘톱100’ 차트에 오르지 않더라도 개인의 취향에 따라 인디밴드, 신곡 등을 들을 수 있다.

이종민 SK텔레콤 미디어랩스장은 AI 딥러닝을 활용한 음원기반 추천의 효과로 청취자가 듣는 유사한 곡을 정확히 모아 제공하는 소비자 편의성, 재능 있는 창작자의 알려지지 않은 좋은 곡을 발굴해 소개하는 공급자 활성화를 꼽는다. 이 랩스장은 “음원기반 추천은 음악을 구성하는 요소인 소리, 악기, 리듬 등을 분석해 추천하기에 음악 분류와 발견에 효과가 있다”며 “특히 인기차트, 신규차트 위주의 단순 소비 패턴에 새로운 패턴을 제시하기에 음악 소비문화를 질적으로 더욱 향상시킬 것”이라고 말했다.

정윤희 기자/yuni@heraldcorp.com