생성형 AI 모델 성능 평가 ‘빅젠 벤치’ 개발

77개 세부역할 수행 여부 765개 항목으로 평가

실제 사람의 AI 평가와 유사 결과 도출

김승원(왼쪽 위부터 시계방향)카네기멜론대 박사과정 연구생, 서민준 KAIST 교수, 이경재 LG AI연구원 데이터 스쿼드(Data Squad)리더, 이문태 LG AI연구원 초지능랩(Super Intelligence Lab)장. [LG AI연구원 제공]
김승원(왼쪽 위부터 시계방향)카네기멜론대 박사과정 연구생, 서민준 KAIST 교수, 이경재 LG AI연구원 데이터 스쿼드(Data Squad)리더, 이문태 LG AI연구원 초지능랩(Super Intelligence Lab)장. [LG AI연구원 제공]

[헤럴드경제=김민지 기자] LG AI연구원이 자연어 처리(NLP·Natural Language Processing) 분야 세계 최고 권위 학회 중 하나인 북미 전산언어 학회(NAACL) 2025에서 ‘최고논문상(Best Paper Award)’을 수상했다고 30일 밝혔다. 지난해 ‘NAACL 2024’에서 AI 모델의 문화적 편견에 관한 분석을 통한 AI 시스템의 안정성 및 공정성을 주제로 발표한 연구 논문이 ‘소셜임팩트상(Social Impact Award)’을 받은 데 이은 성과다.

올해는 생성형 AI 모델 성능을 평가하는 새로운 벤치마크 연구 논문이 같은 학회로부터 최고논문상을 수상했다. 최고논문상은 NAACL 2025에 채택된 1400편이 넘는 논문 중 단 하나만 선정해 수여하는 상이다.

논문 1저자인 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩(Super Intelligence Lab)장, 이경재 데이터 스쿼드(Data Squad)리더, 서민준 KAIST 교수 연구팀과 함께 생성형 AI 모델 성능을 평가하는 ‘빅젠 벤치(BIGGEN BENCH)’를 개발했다.

기존 생성형 AI 모델 평가 방식은 ‘유용성’, ‘무해성’과 같은 추상적인 개념 지표에 의존하고 있어 사람이 평가했을 때의 결과와 차이가 있었다. AI 모델이 보유하고 있는 세부 역량에 대한 측정이 어렵다는 한계도 있었다.

반면 ‘빅젠’ 벤치는 실제 사람의 평가와 유사한 결과를 도출하는데 집중했다. 생성형 AI 모델이 갖춰야 할 핵심 역량을 ▷지시사항 수행 ▷논리적 추론 ▷도구 사용 능력 ▷안전성 ▷다양한 언어와 문화적 맥락 이해 능력 등 9가지로 분류하고, 77개의 세부 역할을 잘 수행하는지 여부를 765개 항목으로 평가한다. 주변의 다양한 상황과 주관적 요소를 고려해 생성형 AI 모델을 사용하고 평가하는 사람의 방식을 모방한 것이다.

이문태 랩장은 “빅젠 벤치는 생성형 AI의 다양한 능력을 객관적이고 종합적으로 평가할 수 있도록 설계됐다”며 “기존 벤치마크들의 한계를 극복하고 인간의 정교한 평가기준에 부합해 AI 모델의 능력을 파악할 수 있다는 장점이 있다”고 말했다.

서민준 교수는 “생성형 AI 모델을 평가할 때 사람들이 실제로 사용할 때 느끼는 실용성을 지표화 할 수 있다는 점이 가장 큰 장점”이라며 “빅젠 벤치에서 좋은 결과를 얻는다는 것은 실제로 사용할 때 만족스러운 성능을 보이는 생성형 AI 모델이라는 의미”라고 강조했다.

LG AI연구원은 연구 과정에서 평가자 역할을 하는 AI 모델 5개 중 하나인 프로메테우스-2(Prometheus-2)도 오픈소스로 공개했다. 프로메테우스-2는 글로벌 상용모델 중 최고 성능을 보이는 GPT-4와 큰 차이 없이 평가자 역할을 하며 높은 평가 신뢰도를 보였다.

한편, LG AI연구원이 2020년 12월 출범 이후 NAACL을 비롯해 AI의 각 분야별 글로벌 최상위 학회에서 발표한 논문은 234편이다. 2022년부터 현재까지 국내 120건, 국제(PCT) 108건 등 총 228건의 특허를 출원하며 미래 AI 기술을 선도해가고 있다.


jakmeen@heraldcorp.com