- UNIST, AI 추천 시스템 위험 추적 ‘에코트레이스’ 개발

- 과거 추천에 의존하는 악순환…반복할수록 편향 증폭

반복 추천을 강화하는 대형언어모델 AI의 피드백 루프(AI 생성 이미지)
반복 추천을 강화하는 대형언어모델 AI의 피드백 루프(AI 생성 이미지)

[헤럴드경제=구본혁 기자] 챗GPT와 같은 생성형 인공지능(AI)이 추천하는 영화나 책, 맛집이 실제 내 취향보다 AI가 과거에 추천했던 결과에 더 큰 영향을 받을 수 있다는 연구 결과가 나왔다.

울산과학기술원(UNIST)은 인공지능대학원 이연창 교수 연구팀이 대형언어모델(LLM) 기반 추천 시스템의 오류와 편향을 추적하는 진단 기술 ‘에코트레이스(EchoTrace)’를 개발했다고 8일 밝혔다.

최근 온라인 쇼핑과 동영상 플랫폼 등에서는 생성형 AI를 활용한 맞춤형 추천 서비스가 빠르게 확산하고 있다. AI가 이용자의 취향을 분석해 상품을 추천하거나 가상의 사용자 정보를 만들어 추천 정확도를 높이는 방식이다.

하지만 AI가 만들어낸 추천 결과가 다시 학습 데이터로 활용되면 문제가 발생할 수 있다. 이용자의 실제 취향보다 AI가 이전에 추천했던 상품이 다음 추천에 더 큰 영향을 미치기 때문이다.

연구팀은 이러한 문제를 확인하기 위해 영화·도서·가게 추천 시스템을 분석했다.

그 결과 AI가 직접 추천 목록을 생성하는 경우 실제 추천 대상 목록에 없는 항목을 제시하는 비율이 영화 4.07%, 도서 7.40%, 가게 13.14%에 달했다. AI가 존재하지 않거나 추천 대상에 포함되지 않은 항목을 마치 정상적인 추천 상품처럼 제시하는 이른바 ‘환각’ 현상이다.

이용자 정보를 추정하는 과정에서도 심각한 오류가 확인됐다. AI가 영화 이용 기록을 바탕으로 추정한 직업은 93.16%가 실제 정보와 일치하지 않았다. 심지어 기존 직업 분류에 없는 ‘영화 평론가’라는 직업까지 만들어냈다.

특정 인기 상품에 추천이 집중되는 현상도 나타났다. AI가 생성한 학습 데이터를 활용할 경우 실제 이용 기록보다 인기 영화나 특정 장르, 업종을 과도하게 추천하는 경향을 보였다.

더 큰 문제는 이러한 오류가 반복 학습을 거쳐도 사라지지 않는다는 점이다.

연구팀이 AI 추천 결과를 다시 학습시키는 과정을 5차례 반복한 결과, 초기 편향과 오류가 지속됐다. 일부 시스템에서는 인기 상품에 대한 쏠림이 오히려 심해졌다.

특히 AI가 직접 영화를 추천하는 시스템에서는 이용자 100명 중 86~92명에 대한 다음 추천을 생성할 때 이전에 AI 자신이 추천했던 작품을 가장 중요하게 참고하는 것으로 나타났다.

AI가 추천한 결과가 이용자의 선택 기록처럼 다시 학습되고, 이를 근거로 새로운 추천을 만드는 ‘피드백 루프’가 형성된 것이다. 이 과정이 반복될수록 이용자의 실제 취향이 제대로 반영되지 않을 가능성이 커진다.

이연창(왼쪽) UNIST 교수와 박동욱 연구원[UNIST 제공]
이연창(왼쪽) UNIST 교수와 박동욱 연구원[UNIST 제공]

연구팀이 개발한 에코트레이스는 이러한 위험을 체계적으로 분석하는 기술이다. 기존 추천 시스템 평가가 특정 시점의 추천 정확도에 집중했다면, 에코트레이스는 AI가 생성한 정보와 추천 결과가 반복 학습을 통해 어떻게 변하는지 추적한다.

연구팀은 관련 국제학술대회에 발표된 논문 116편을 분석해 추천 시스템에서 LLM이 수행하는 역할을 5가지로 분류했다. 이 가운데 3가지 역할을 대상으로 정보 생성과 최종 추천, 반복 학습 단계에서 발생하는 오류와 편향을 검증했다.

이연창 교수는 “이번 연구는 LLM 기반 추천 시스템의 편향과 환각이 반복적인 추천 과정에서 어떻게 누적되고 증폭되는지를 체계적으로 진단할 수 있는 기반을 마련했다”며 “향후 더욱 안전하고 신뢰할 수 있는 추천 시스템을 설계하고 평가하는 데 활용될 수 있을 것”이라고 말했다.


nbgkoo@heraldcorp.com