김재철AI대학원 신기정 교수팀

기존比 50배 압축 ‘뉴크론’ 개발

신기정 교수
신기정 교수

약 2억 건의 비디오 시청 내역 데이터를 10KB 크기로 압축할 수 있는 기술이 국내 연구진에 의해 개발됐다.

카이스트(KAIST)는 김재철AI대학원 신기정 교수 연구팀이 기존 대비 50배 이상 우수한 압축률의 희소 행렬 압축 기술인 뉴크론(NeuKron)을 개발했다고 9일 밝혔다.

희소 행렬이란 높은 비율의 원소가 0인 행렬을 의미하며, 전자상거래 구매 내역, 소셜 네트워크에서의 친구 관계, 문서와 단어 간 포함 관계 등 다양한 종류의 데이터가 희소 행렬 형태로 저장 및 활용된다. 예를 들어 전자상거래 구매 내역의 경우, 행렬의 각 행이 각 구매자에 해당하고, 각 열이 각 상품에 해당하며, 각 원소는 해당 구매자가 해당 상품을 구매한 수량을 의미한다.

데이터로부터 얻어진 대규모 희소 행렬을 효율적으로 다루기 위해서는, 압축 기술이 필수적이다. 예를 들어 1억 명의 구매자와 1억 개의 상품으로 구성된 전자상거래 구매 내역의 경우, 행렬은 전체 구매자 수와 전체 상품 수의 곱에 해당하는 1경 개의 원소를 갖는다.

신기정 교수팀은 희소 행렬의 압축률을 크게 개선할 수 있는 손실 압축 기술인 뉴크론을 개발했다. 뉴크론은 크게 세 가지 단계로 구성된다. 첫 번째 단계는 행렬이 자기 유사적인 구조를 가질 수 있도록 행과 열을 재배열하는 것이며, 두 번째 단계는 재배열된 행렬을 재귀적으로 분해하는 과정을 통해, 행렬의 각 원소를 위치 수열로 인코딩하는 것이다. 마지막 단계는 각 위치 수열을 입력으로 행렬의 원소값을 추론하는 순환신경망을 학습하는 것이다. 이때, 순환신경망은 행렬의 자기 유사성을 기반으로 정확한 추론을 수행한다.

뉴크론 기술은 희소 행렬뿐 아니라, 희소 텐서의 압축에도 적용할 수 있다. 행렬이 행과 열로 구성된 2차원 데이터라면, 텐서는 행렬을 3차원 이상으로 일반화한 것이다. 예를 들어 3차원 텐서는 행렬을 수직으로 쌓은 형태이다. 실제로 행렬과 텐서를 포함 10개의 실세계 데이터 세트를 사용해 검증한 결과, 동일 복원 오차 하에서, 뉴크론은 기존 기술 대비 50배 이상 우수한 압축률을 보였다.

이번 연구결과는 오는 5월 미국에서 열리는 미 컴퓨터협회 웹 학술대회에서 발표될 예정이다.

신기정 교수는 “다양한 실세계 데이터 그리고 인공지능 모델의 매개 변수가 희소 행렬의 형태로 표현된다”며 “희소 행렬 압축 기술을 추천시스템, 이상 탐지, 인공지능 모델 경량화 등 다양한 분야에 활용 가능할 것으로 기대한다”고 말했다. 구본혁 기자


nbgkoo@heraldcorp.com