- KAIST, 사람 연주 듣고 실시간 화답하는 ‘재즈 AI’ 개발

- 연주자 속도·리듬 변화 파악…피아노, 베이스·드럼 반주

- 자라섬재즈페스티벌서 재즈 아티스트 12명과 26곡 협연

재즈 피아니스트 허대욱과 AI 피아니스트 ‘스콧’의 협연 무대가 진행 중이다.[KAIST 제공]
재즈 피아니스트 허대욱과 AI 피아니스트 ‘스콧’의 협연 무대가 진행 중이다.[KAIST 제공]

[헤럴드경제=구본혁 기자] 재즈 피아니스트가 연주를 멈추자 인공지능(AI)이 자연스럽게 피아노 연주를 이어받는다. 사람의 즉흥연주에 맞춰 베이스와 드럼 반주까지 만들어낸다.

KAIST는 문화기술대학원 남주한 교수 연구팀이 인간과 AI의 실시간 음악 협업 기술을 개발, 지난 9~11일 열린 제23회 자라섬재즈페스티벌 ‘재즈 AI 라운지’ 무대에서 선보였다고 16일 밝혔다.

이번 공연에는 재즈 아티스트 12명이 참여해 총 12개 공연, 26곡에서 AI와 협연했다.

재즈는 연주자의 순간적인 감정과 판단에 따라 속도와 리듬, 선율이 끊임없이 달라지는 즉흥성이 특징이다. 같은 곡이라도 연주할 때마다 달라지기 때문에 연주자들이 서로의 소리를 듣고 호흡을 맞추는 것이 중요하다.

연구팀은 이러한 재즈의 특성을 AI로 구현하기 위해 사람의 연주를 이어받는 ‘AI 피아니스트’와 즉흥 반주를 생성하는 ‘AI 반주자’를 개발했다.

먼저 AI 피아니스트 ‘스콧(Scott)’은 재즈 아티스트들과 9곡을 협연했다.

스콧은 연주자의 실제 연주와 악보를 실시간으로 비교해 곡의 진행 상황을 파악한다. 연주자가 속도를 늦추거나 연주 시간을 바꾸더라도 미리 정해진 시간표가 아닌 실제 연주 흐름에 맞춰 피아노 연주를 이어받는다.

특히 일부 무대에서는 앞선 연주자의 선율과 리듬을 반영한 새로운 솔로 연주까지 만들어냈다. 사람과 AI가 마치 대화를 주고받듯 음악으로 화답한 셈이다.

AI가 생성한 음악은 야마하의 자동연주 피아노 ‘디스클라비어(Disklavier)’로 전달돼 실제 건반과 페달 움직임으로 구현됐다.

AI가 사람의 즉흥연주에 맞춰 반주를 만들어내는 기술도 선보였다.

KAIST 연구팀과 재즈 아티스트들이 기념촬영을 하고 있다.[KAIST 제공]
KAIST 연구팀과 재즈 아티스트들이 기념촬영을 하고 있다.[KAIST 제공]

연구팀이 개발한 AI 반주 시스템 ‘딥포켓(Deepocket)’은 피아노 연주의 음과 리듬, 빠르기를 분석해 베이스와 드럼 반주를 실시간으로 생성한다.

재즈 피아니스트와 함께한 8곡에서는 사전에 준비된 반주 없이도 연주 시작부터 끝까지 사람과 호흡을 맞췄다.

남 교수 연구팀은 앞서 2023년 소프라노 조수미와의 공연에서도 사람의 노래 진행에 맞춰 AI 피아노의 반주 시점을 조절하는 기술을 선보인 바 있다.

이번에는 한 단계 더 나아가 즉흥성이 강한 재즈 무대에서 AI가 직접 솔로 연주와 반주를 만들어내는 데 성공했다.

연구팀은 이번 기술이 향후 공연과 음악 창작은 물론 혼자 연습하는 연주자를 위한 AI 합주 파트너, 개인 맞춤형 음악교육 등에도 활용될 것으로 기대하고 있다.

남주한 교수는 “이번 공연은 AI가 정해진 음악을 연주하는 것을 넘어 사람의 연주를 듣고 그 흐름에 맞춰 함께 음악을 만들어갈 수 있음을 실제 무대에서 보여준 사례”라며 “앞으로 AI가 단순한 연주 도구를 넘어 사람과 음악적 영감을 주고받는 협연 파트너로 발전할 수 있도록 연구를 이어가겠다”고 말했다.


nbgkoo@heraldcorp.com